智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Minima-KV #KV缓存 #长上下文 #压缩技术 #LLM

ArXiv发布Minima-KV:保留长上下文状态的高效KV缓存压缩技术

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 3 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv团队提出了一种名为Minima-KV的新技术,用于解决长上下文大语言模型(LLM)服务中的KV缓存瓶颈问题。该技术通过混合格式分页注意力机制,保留近期和受保护的锚点页在FP8格式中,而将较旧的非锚点页转换为压缩的TQ3格式,从而实现了3.50倍于BF16和1.75倍于FP8的压缩率,同时保持了对实时请求页的可寻址性。实验结果表明,Minima-KV在多个基准测试中表现出色,显著提升了长上下文推理的效率与质量。


核心突破

Minima-KV通过以下创新解决了长上下文LLM服务中的KV缓存瓶颈问题:

  • 混合格式分页注意力机制:将KV缓存分为锚点页和非锚点页,分别采用FP8和压缩的TQ3格式进行存储。
  • 保留实时请求页的可寻址性:确保所有实时请求的页都能被访问,避免了传统方法中因压缩导致的访问丢失问题。
  • 格式特定内核计算:通过特定的内核计算部分注意力状态,并通过全局归一化的在线softmax合并,实现异构解码。

技术亮点

  • 高压缩率:在单个96GB NVIDIA RTX PRO 6000 Blackwell GPU上,Minima-KV实现了3.50倍于BF16和1.75倍于FP8的压缩率。
  • 高质量保持:在16K RULER任务中,Minima-KV的质量配置文件与其密集控制版本相匹配。
  • 长上下文支持:在503个问题的LongBench v2数据集上,Minima-KV在16K、32K和64K上下文长度下的测量误差分别为-0.80、-0.60和-0.40个百分点。

行业影响

Minima-KV的推出为长上下文LLM服务提供了更高效的KV缓存管理方案,能够显著降低内存和带宽需求,提升推理速度。这对于需要处理超长文本的应用场景,如法律文档分析、学术论文撰写和复杂对话系统等,具有重要意义。

开发者建议

  • 优化内存管理:开发者可以利用Minima-KV的压缩技术,优化LLM服务的内存使用,降低硬件成本。
  • 提升推理效率:通过采用Minima-KV,开发者可以提升LLM的推理速度,改善用户体验。
  • 关注长上下文应用:对于需要处理长上下文的应用,建议优先考虑使用Minima-KV以获得更好的性能表现。

消息来源:ArXiv cs.AI (2026-08-24)

—— 完 ——

主题标签: #Minima-KV #KV缓存 #长上下文 #压缩技术 #LLM

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…