智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #量化 #LLM部署 #后训练量化 #多精度 #RRQ

递归残差量化框架RRQ:单检查点实现2/4/6/8位多精度LLM部署,构建速度提升3.3倍

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 10 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv 最新论文提出递归残差量化(RRQ),一种免校准的后训练量化框架,通过将权重表示为低比特基与一系列量化残差,实现从单一检查点生成 2/4/6/8 位多种精度。在 Qwen3-8B 上,构建全精度包仅需 1293 秒,比 MatGPTQ 快 3.3 倍。实验表明,RRQ 在 6 位和 8 位精度下达到有竞争力的准确率,为灵活部署 LLM 提供了高效方案。


概述

大语言模型(LLM)在不同部署场景下需要灵活权衡精度、内存占用和吞吐量。传统量化方法通常需要为每个目标位宽单独保存检查点,存储和部署成本高昂。针对这一痛点,arXiv 最新论文提出递归残差量化(Recurrent Residual Quantization, RRQ),一种免校准的后训练量化(PTQ)框架,能够从单一检查点生成多种有效精度,显著提升部署灵活性。

核心方法

RRQ 的核心思想是将权重表示为低比特量化基(base)与一系列量化残差(residual corrections)的组合。具体而言,从一个通过 PTQ 或最近舍入(RTN)得到的 2 位模型出发,RRQ 逐步添加由 RTN 生成的轻量级 2 位残差,从而构建 4 位、6 位和 8 位表示。该方法完全免校准,无需联合多比特优化,简化了量化流程。

性能与效率

在 Qwen3-8B 上,RRQ 构建完整的 2/4/6/8 位全 RTN 精度包仅需 1,293 秒,比实测的 MatGPTQ 构建速度快 3.3 倍。实验覆盖六个近期 LLM,结果显示 RRQ 在 6 位和 8 位精度下达到有竞争力的准确率,而在 4 位精度下表现因模型而异。

技术亮点

  • 单检查点多精度:一个检查点即可支持多种位宽,大幅降低存储和部署成本。
  • 免校准:无需校准数据,简化部署流程,适用于数据敏感场景。
  • 高效构建:通过渐进式残差添加,构建速度显著优于现有方法。
  • 即插即用:基于 RTN 的残差生成,易于集成到现有量化流程。

行业影响与开发者建议

RRQ 为 LLM 的灵活部署提供了新思路,尤其适合需要根据硬件资源动态调整精度的场景。开发者可关注其开源代码,评估在自身模型上的效果,并考虑将其集成到推理框架中,以实现更高效的资源利用。

出处

本文基于 arXiv 论文《Recurrent Residual Quantization: A Progressive Multi-Precision Representation for LLMs》(arXiv:2608.04048)。


消息来源:ArXiv Machine Learning (cs.LG) (2026-08-06)

—— 完 ——

主题标签: #量化 #LLM部署 #后训练量化 #多精度 #RRQ

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…