arXiv发布AttSVD：基于注意力引导SVD的低秩KV缓存压缩技术

摘要：arXiv发布了一项名为AttSVD的新研究，旨在解决自回归Transformer模型中KV缓存随上下文长度线性增长导致的内存瓶颈问题。AttSVD通过基于每个提示的注意力几何结构进行在线截断SVD分解，仅保留注意力实际读取的方向，从而实现KV缓存的低秩压缩。该方法在多个模型和基准测试中表现优异，内存使用量减少至原来的50%，同时保持了与密集缓存相当的性能。

---

核心突破

• KV缓存内存优化：AttSVD通过基于注意力几何结构的在线截断SVD分解，仅保留注意力实际读取的方向，实现KV缓存的低秩压缩。
• 自适应压缩策略：提出两种缓存策略——累积和流式，分别适用于短时和长时生成场景，并引入了基于矩阵能量规则和注意力感知基的细化方法，使压缩过程更加自适应。
• 性能保持：在多个模型和基准测试中，AttSVD在内存使用量减少50%的情况下，性能与密集缓存相当。

技术亮点

1. 注意力引导的SVD分解：通过分析每个提示的注意力几何结构，AttSVD能够动态调整压缩策略，保留对模型输出最重要的信息。
2. 自适应压缩：基于矩阵能量规则和注意力感知基的细化方法，使压缩过程能够根据不同提示和任务需求进行自适应调整。
3. 两种缓存策略：累积和流式缓存策略分别针对短时和长时生成场景进行了优化，进一步提升了方法的适用性。

行业影响

AttSVD的提出为自回归Transformer模型在长上下文场景下的应用提供了新的解决方案，特别是在需要处理大规模数据的领域，如自然语言处理、语音识别和视频生成等。该方法不仅能够有效降低内存消耗，还能保持模型性能，为AI模型的部署和运行提供了更高效的资源利用方案。

开发者建议

• 模型优化：开发者可以利用AttSVD优化现有Transformer模型的KV缓存管理，提升模型在长上下文场景下的运行效率。
• 资源受限环境：对于资源受限的设备，AttSVD提供了一种有效的内存优化方案，有助于在低资源环境下部署高性能模型。
• 进一步研究：建议研究人员在不同任务和模型架构上验证AttSVD的性能，并探索其在其他类型模型中的应用潜力。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-07)

—— 完 ——

主题标签： #KV缓存 关注 #Transformer 关注 #低秩压缩 关注 #arXiv 关注 #内存优化 关注