arXiv 研究：量化模型解释性转移中的噪声地板测量与评估

摘要：本研究探讨了量化模型解释性转移中的关键问题，提出了一种基于统计噪声地板的评估方法。研究指出，传统的尺度不变统计量（如余弦相似度）在量化模型中可能无法准确反映解释性转移的真实性，因为其噪声地板未被充分考虑。通过对 Qwen2.5-1.5B-Instruct 模型的分析，研究发现 INT4 量化会导致方向旋转，而 INT8 量化则未检测到显著变化。研究强调了在评估量化模型解释性时需要考虑噪声地板的重要性，并提供了相应的报告建议。

---

研究背景与动机

在人工智能安全领域，解释性是确保模型行为透明和可信的关键。然而，当模型从全精度权重转移到量化权重时，解释性转移的评估面临挑战。传统的尺度不变统计量（如余弦相似度、相关系数和 AUROC）被广泛用于评估解释性转移，但这些统计量在量化模型中可能无法准确反映其真实情况，因为它们忽略了噪声地板的影响。

主要贡献

1. 提出噪声地板评估方法：本研究提出了一种基于噪声地板的评估方法，用于量化模型解释性转移的可靠性。通过引入无量纲数 $\kappa = n\rho^2/d$，研究揭示了统计量的噪声地板与样本数量 $n$、类间分离度 $\rho$ 和维度 $d$ 之间的关系。

2. 实验验证：通过对 Qwen2.5-1.5B-Instruct 模型的分析，研究发现 INT4 量化会导致方向旋转，而 INT8 量化则未检测到显著变化。这一结果表明，在低比特量化下，解释性转移的可靠性显著降低。

3. 报告建议：研究建议在报告量化模型的解释性转移时，应明确说明计算统计量的样本数量 $n$ 和类间分离度 $\rho$，以提供更全面的评估信息。

技术亮点

• 噪声地板的量化分析：首次系统地分析了量化模型中解释性转移的噪声地板，并提出了相应的评估方法。

• 实验验证：通过实际模型和数据集的实验，验证了噪声地板对解释性转移评估的影响。

• 实用建议：为量化模型的解释性转移评估提供了具体的报告建议，有助于提高评估的准确性和透明度。

行业影响与开发者建议

• 对 AI 安全的影响：本研究为 AI 安全领域提供了新的评估工具，有助于提高模型解释性的可靠性和透明度。

• 对开发者的建议：开发者在使用量化模型时，应注意解释性转移的噪声地板问题，并在评估过程中参考本研究提出的方法和建议。

• 未来研究方向：进一步研究不同量化方法和模型架构对解释性转移的影响，以及开发更精确的噪声地板评估方法。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-09-28)

—— 完 ——

主题标签： #量化模型 #AI安全 #模型解释性 #噪声地板 #Qwen模型