智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #DAMP #量化技术 #大语言模型 #推理效率 #混合精度

ArXiv提出DAMP:革新递归状态量化技术,提升大语言模型推理效率

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 10 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv团队提出了一种名为DAMP(Decay-Aware Mixed-Precision Recurrent-State Quantization)的新方法,用于优化基于Gated DeltaNet(GDN)和Kimi Delta Attention(KDA)的大语言模型中的递归状态量化。DAMP通过量化误差能量和基于衰减的持久性识别高风险通道,并在离线校准中以高精度存储这些通道,其余部分则采用INT8量化。在Qwen3.6-35B和Kimi-Linear-48B模型上的实验表明,DAMP在保持接近FP32基线精度的同时,将递归状态存储减少了69.1%,并将递归状态更新内核加速了最高2.01倍,显著提升了模型推理效率。


技术背景与挑战

大语言模型(LLMs)在处理长序列时,Softmax注意力机制会存储每个前序token的键(key)和值(value)向量,导致推理内存随序列长度增长而增加。尽管Gated DeltaNet(GDN)和Kimi Delta Attention(KDA)等方法通过用固定大小的递归状态替换大部分层的KV缓存来降低内存成本,但这些递归状态通常以FP32格式存储,占用大量GPU内存,其更新过程受内存带宽限制,对解码延迟有显著影响。

DAMP方法概述

DAMP(Decay-Aware Mixed-Precision Recurrent-State Quantization)是一种针对GDN和KDA模型的递归状态后训练量化方法。其核心创新点包括:

  1. 量化误差能量分析:DAMP发现,量化误差能量集中在少数通道中,且状态通道的相对衰减强度在不同提示和任务中保持稳定。
  2. 混合精度量化策略:基于上述发现,DAMP在离线校准中利用量化误差能量和基于衰减的持久性来识别高风险通道,并将其以高精度存储,其余通道则采用INT8量化。

实验结果与性能

在Qwen3.6-35B和Kimi-Linear-48B模型上的实验表明:

  • 精度保持:在9.9 bits每状态值的情况下,DAMP的平均精度接近FP32基线。
  • 存储优化:递归状态存储减少了69.1%。
  • 速度提升:递归状态更新内核加速了最高2.01倍。
  • 模型效率:全模型TPOT降低了最高10.9%。

行业影响与开发者建议

DAMP的提出为大语言模型的推理效率提升提供了新的思路,尤其在资源受限的边缘计算场景中具有重要意义。开发者可以参考以下建议:

  • 混合精度策略:在模型量化过程中,结合误差能量和衰减特性进行通道级别的精度分配。
  • 离线校准:利用离线校准机制识别高风险通道,确保精度与效率的平衡。
  • 性能优化:在资源受限的应用中,优先考虑递归状态存储优化和更新加速,以提升整体推理效率。

未来展望

DAMP展示了混合精度量化在递归状态优化中的潜力,未来研究可以进一步探索其在更大规模模型和更复杂任务中的应用,以及与其他量化技术的结合,以实现更高效的模型推理。


消息来源:ArXiv Machine Learning (cs.LG) (2026-08-31)

—— 完 ——

主题标签: #DAMP #量化技术 #大语言模型 #推理效率 #混合精度

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…