递归残差量化框架RRQ:单检查点实现2/4/6/8位多精度LLM部署,构建速度提升3.3倍
摘要:arXiv 最新论文提出递归残差量化(RRQ),一种免校准的后训练量化框架,通过将权重表示为低比特基与一系列量化残差,实现从单一检查点生成 2/4/6/8 位多种精度。在 Qwen3-8B 上,构建全精度包仅需 1293 秒,比 MatGPTQ 快 3.3 倍。实验表明,RRQ 在 6 位和 8 位精度下达到有竞争力的准确率,为灵活部署 LLM 提供了高效方案。
概述
大语言模型(LLM)在不同部署场景下需要灵活权衡精度、内存占用和吞吐量。传统量化方法通常需要为每个目标位宽单独保存检查点,存储和部署成本高昂。针对这一痛点,arXiv 最新论文提出递归残差量化(Recurrent Residual Quantization, RRQ),一种免校准的后训练量化(PTQ)框架,能够从单一检查点生成多种有效精度,显著提升部署灵活性。
核心方法
RRQ 的核心思想是将权重表示为低比特量化基(base)与一系列量化残差(residual corrections)的组合。具体而言,从一个通过 PTQ 或最近舍入(RTN)得到的 2 位模型出发,RRQ 逐步添加由 RTN 生成的轻量级 2 位残差,从而构建 4 位、6 位和 8 位表示。该方法完全免校准,无需联合多比特优化,简化了量化流程。
性能与效率
在 Qwen3-8B 上,RRQ 构建完整的 2/4/6/8 位全 RTN 精度包仅需 1,293 秒,比实测的 MatGPTQ 构建速度快 3.3 倍。实验覆盖六个近期 LLM,结果显示 RRQ 在 6 位和 8 位精度下达到有竞争力的准确率,而在 4 位精度下表现因模型而异。
技术亮点
- 单检查点多精度:一个检查点即可支持多种位宽,大幅降低存储和部署成本。
- 免校准:无需校准数据,简化部署流程,适用于数据敏感场景。
- 高效构建:通过渐进式残差添加,构建速度显著优于现有方法。
- 即插即用:基于 RTN 的残差生成,易于集成到现有量化流程。
行业影响与开发者建议
RRQ 为 LLM 的灵活部署提供了新思路,尤其适合需要根据硬件资源动态调整精度的场景。开发者可关注其开源代码,评估在自身模型上的效果,并考虑将其集成到推理框架中,以实现更高效的资源利用。
出处
本文基于 arXiv 论文《Recurrent Residual Quantization: A Progressive Multi-Precision Representation for LLMs》(arXiv:2608.04048)。
—— 完 ——消息来源:ArXiv Machine Learning (cs.LG) (2026-08-06)
主题标签: #量化 #LLM部署 #后训练量化 #多精度 #RRQ
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区