ArXiv提出PuzzleKV:基于页级低秩分解的KV缓存压缩技术
摘要:PuzzleKV是一种新型的KV缓存压缩方法,旨在解决大语言模型(LLM)长上下文推理中内存瓶颈问题。该方法通过将每个KV缓存头划分为固定长度的逻辑页,并基于页内低秩结构进行分解,避免了传统方法中因固定投影空间导致的细节信息丢失问题。实验表明,PuzzleKV在仅使用60%的原始KV缓存存储空间的情况下,实现了超过96%的全KV性能,并在多个基准测试中表现优异。此外,PuzzleKV还可以与量化技术结合,在进一步压缩存储空间的同时保持高性能。
背景与挑战
大语言模型(LLM)在长上下文推理中,KV缓存的内存需求是一个关键瓶颈。KV缓存用于存储之前token的键值对,以便在自回归解码过程中快速访问。然而,随着上下文长度的增加,KV缓存的存储成本呈线性增长,限制了LLM的实际应用场景。
PuzzleKV方法
PuzzleKV提出了一种基于页级低秩分解的KV缓存压缩方法。其核心思想是将每个KV缓存头划分为固定长度的逻辑页,并假设页内存在显著的低秩结构。具体方法包括:
- 页级划分:将每个KV缓存头划分为固定长度的逻辑页,每个页作为一个独立的压缩单元。
- 低秩分解:对每个页进行低秩分解,生成密集和分解后的页表示。
- 直接注意力计算:在密集和分解后的页表示上直接进行注意力计算。
- 增量压缩:在自回归解码过程中,逐步压缩新生成的页。
实验结果
PuzzleKV在多个模型、上下文长度和基准测试中进行了评估,结果表明:
- 在60%的原始KV缓存存储空间下,PuzzleKV在所有评估模型和基准测试中均实现了超过96%的全KV性能。
- 与Global SVD相比,PuzzleKV在RULER基准测试中表现优异,在LongBench中表现也具有竞争力。
- 通过与量化技术结合,PuzzleKV在仅使用18.7%的原始存储空间的情况下,仍能保持超过93%的全KV性能。
技术亮点
- 训练与校准无关:PuzzleKV无需额外的训练或校准步骤,降低了部署复杂度。
- 细粒度低秩结构利用:通过页级划分,PuzzleKV能够更有效地捕捉KV缓存中的低秩结构,避免了传统方法中因固定投影空间导致的细节信息丢失。
- 灵活的压缩策略:PuzzleKV可以与量化技术结合,进一步提升压缩效率。
行业影响与开发者建议
PuzzleKV为LLM的长上下文推理提供了更高效的内存管理方案,尤其适用于资源受限的环境,如边缘计算和移动设备。对于开发者而言,PuzzleKV的易用性和高效性使其成为提升LLM推理性能的理想选择。此外,PuzzleKV的增量压缩特性使其能够无缝集成到现有的推理流水线中,无需对现有系统进行大幅修改。
—— 完 ——消息来源:ArXiv cs.LG (2026-08-24)
主题标签: #KV缓存 #低秩分解 #大语言模型 #内存优化 #推理加速
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区