ArXiv发布Minima-KV:保留长上下文状态的高效KV缓存压缩技术
摘要:ArXiv团队提出了一种名为Minima-KV的新技术,用于解决长上下文大语言模型(LLM)服务中的KV缓存瓶颈问题。该技术通过混合格式分页注意力机制,保留近期和受保护的锚点页在FP8格式中,而将较旧的非锚点页转换为压缩的TQ3格式,从而实现了3.50倍于BF16和1.75倍于FP8的压缩率,同时保持了对实时请求页的可寻址性。实验结果表明,Minima-KV在多个基准测试中表现出色,显著提升了长上下文推理的效率与质量。
核心突破
Minima-KV通过以下创新解决了长上下文LLM服务中的KV缓存瓶颈问题:
- 混合格式分页注意力机制:将KV缓存分为锚点页和非锚点页,分别采用FP8和压缩的TQ3格式进行存储。
- 保留实时请求页的可寻址性:确保所有实时请求的页都能被访问,避免了传统方法中因压缩导致的访问丢失问题。
- 格式特定内核计算:通过特定的内核计算部分注意力状态,并通过全局归一化的在线softmax合并,实现异构解码。
技术亮点
- 高压缩率:在单个96GB NVIDIA RTX PRO 6000 Blackwell GPU上,Minima-KV实现了3.50倍于BF16和1.75倍于FP8的压缩率。
- 高质量保持:在16K RULER任务中,Minima-KV的质量配置文件与其密集控制版本相匹配。
- 长上下文支持:在503个问题的LongBench v2数据集上,Minima-KV在16K、32K和64K上下文长度下的测量误差分别为-0.80、-0.60和-0.40个百分点。
行业影响
Minima-KV的推出为长上下文LLM服务提供了更高效的KV缓存管理方案,能够显著降低内存和带宽需求,提升推理速度。这对于需要处理超长文本的应用场景,如法律文档分析、学术论文撰写和复杂对话系统等,具有重要意义。
开发者建议
- 优化内存管理:开发者可以利用Minima-KV的压缩技术,优化LLM服务的内存使用,降低硬件成本。
- 提升推理效率:通过采用Minima-KV,开发者可以提升LLM的推理速度,改善用户体验。
- 关注长上下文应用:对于需要处理长上下文的应用,建议优先考虑使用Minima-KV以获得更好的性能表现。
—— 完 ——消息来源:ArXiv cs.AI (2026-08-24)
主题标签: #Minima-KV #KV缓存 #长上下文 #压缩技术 #LLM
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区