ResCom：一种用于大语言模型量化的激活残差补偿方法

摘要：ResCom是一种用于大语言模型量化的新型低秩校正方法，通过利用激活舍入残差补偿层输出误差，从而在保持低比特权重和激活量化的同时，显著提升模型精度。该方法在4比特量化的Llama-3-8B模型上进行了验证，实验结果显示，ResCom在WikiText-2困惑度、MMLU和GSM8K等基准测试中均表现出色，显著改善了模型性能。此外，该方法在1B到70B参数规模的模型上进行了扩展性测试，并展示了其在C4数据集上的有效性。

---

技术机制剖析

ResCom的核心思想是利用激活舍入残差来补偿量化过程中产生的误差。量化技术通过将权重和激活值转换为低比特表示来减少内存和计算需求，但这种转换会导致精度损失，尤其是在激活值舍入后，模型输出会偏离原始结果。ResCom通过以下步骤实现补偿：

1. 激活残差计算：在每个量化层中，计算激活值的舍入残差，即原始激活值与量化后激活值之间的差异。
2. 低秩校正：利用低秩矩阵对残差进行校正，以减少计算开销并保持校正的有效性。
3. 输出感知校准：通过分析校正对模型输出的影响，选择对重建输出贡献最大的残差方向，并在闭合形式下计算校正值，而无需梯度训练或更新已校准的权重。

工程权衡与实测表现

ResCom在保持低比特量化的优势的同时，显著提升了模型精度。以下是一些关键实验结果：

• 在Llama-3-8B模型上，4比特权重和激活的ResCom将WikiText-2困惑度从7.708降低到7.147，MMLU提高了2.89个百分点，GSM8K的五次射击准确率从23.96%提高到36.16%。
• 在1B到70B参数规模的模型上，ResCom均表现出色，验证了其扩展性。
• FP32实现增加了4K预填充时间的2.25%，而紧凑存储实现相对于FP16保持了27.7%的峰值内存减少。

这些结果表明，ResCom在提升量化模型精度方面具有显著优势，同时对计算和内存开销的影响较小。

开发者落地与部署建议

对于希望部署量化大语言模型的开发者，ResCom提供了一种有效的解决方案。以下是一些建议：

• 模型选择：ResCom适用于各种规模的模型，开发者可以根据具体需求选择合适的模型进行量化。
• 校准过程：在应用ResCom之前，确保对模型进行充分的校准，以获得最佳的补偿效果。
• 资源管理：虽然ResCom对内存和计算开销的影响较小，但在资源受限的环境中，仍需谨慎评估其影响。

结论

ResCom是一种创新的量化校正方法，能够在保持低比特量化的同时，显著提升模型精度。其在多个基准测试中的优异表现和良好的扩展性，使其成为大语言模型量化领域的强大工具。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-28)

—— 完 ——

主题标签： #大语言模型 关注 #量化 关注 #低秩校正 关注 #ResCom 关注 #深度学习 关注