Hugging Face发布PACE：高效四比特状态量化方案革新线性注意力模型

摘要：Hugging Face推出了一种名为PACE的新型四比特状态量化方案，用于提升线性注意力语言模型的推理效率。PACE通过减少状态量化频率、引入列共享量化尺度以及保留关键头部为八比特，显著降低了精度损失，同时节省了内存占用。实验表明，PACE在多个混合参数模型上表现优异，内存占用仅为八比特DAMP方案的三分之二，同时在推理速度和精度上均优于现有方法Q-Mamba。

---

技术机制剖析

PACE是一种针对线性注意力语言模型的状态量化方案，其核心机制包括：

1. 减少量化频率：传统方法在每个生成的token后进行状态量化，而PACE仅在每几个生成的token后进行量化，从而减少误差积累。
2. 列共享量化尺度：PACE发现门控增量状态的大条目在列中聚集，因此为每一列共享量化尺度，进一步降低量化误差。
3. 混合比特头部保留：PACE将保留量化误差最长的头部保持在八比特，而其他头部则使用四比特，从而在精度和内存之间取得平衡。

工程权衡与实测表现

• 内存效率：PACE在四个参数范围从4B到35B的混合模型上进行了测试，结果显示其内存占用仅为八比特DAMP方案的三分之二。
• 精度与速度：在四比特头部的情况下，PACE在精度上优于Q-Mamba，同时保持了缓冲区的解码速度提升。
• 适用性：PACE适用于多种线性注意力模型，且无需对模型进行微调，降低了部署成本。

开发者落地与部署建议

1. 硬件适配：由于PACE主要针对线性注意力模型，建议在配备高效内存管理功能的硬件上部署，以充分发挥其优势。
2. 模型选择：对于需要高精度和低延迟的应用场景，建议选择混合比特头部方案；对于内存受限的环境，可以选择全四比特头部方案。
3. 性能监控：在部署过程中，建议持续监控量化误差和推理速度，以确保模型性能符合预期。

PACE的推出为线性注意力模型的推理效率提升提供了新的解决方案，尤其在资源受限的环境中展现出巨大潜力。

---

消息来源：Hugging Face Daily Papers (2026-10-21)

—— 完 ——

主题标签： #Hugging Face 关注 #PACE 关注 #线性注意力 关注 #状态量化 关注 #推理效率 关注