智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Fathom #KV缓存 #稀疏解码 #GPU优化 #AI推理

Fathom:基于稀疏解码的KV缓存优化技术发布

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 4 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Fathom是一种新型稀疏解码技术,通过智能的按查询读取深度优化KV缓存访问效率。该技术通过在百万级token会话中动态决定每个键通道的读取位数,显著提升了GPU解码速度。在Qwen3-8B模型上,Fathom的解码速度比传统方法快1.67倍,同时在相同GPU时间内读取的字节数减少18%,并降低了注意力误差。该技术特别适用于大规模智能体会话和复杂任务处理,为AI推理效率提升提供了创新解决方案。


技术背景与挑战

在处理大规模智能体会话时,AI模型需要处理百万级token的请求,这对KV缓存(键值缓存)和索引的访问效率提出了极高要求。传统方法在处理这些请求时,扫描所有n个键以确定top-k步骤的优先级成为性能瓶颈,导致GPU解码速度受限。

Fathom的核心创新

Fathom提出了一种基于稀疏解码的KV缓存优化技术,其主要特点包括:

  • 按查询读取深度优化:Fathom允许每个查询智能决定每个键通道的读取位数,通过反向水充填算法在通道的方差加权重要性上分配位预算。
  • 4-bit K缓存存储:该技术将4-bit K缓存以位平面形式存储为通道主序,使得前缀t个平面正好是通道的t-bit量化器。
  • 性能提升:在Qwen3-8B模型上,Fathom的解码速度比传统方法快1.67倍,同时在相同GPU时间内读取的字节数减少18%,并在七个模型和上下文设置中的六个上实现了更低的注意力误差。

实验结果与优势

  • 解码速度提升:在Qwen3-8B模型上,Fathom的解码速度比传统方法快1.67倍。
  • 字节读取减少:在相同GPU时间内,Fathom读取的字节数减少18%。
  • 注意力误差降低:在七个模型和上下文设置中的六个上,Fathom实现了更低的注意力误差。

适用场景与未来展望

Fathom特别适用于需要处理大规模智能体会话和复杂任务的应用场景,例如多智能体协作、实时对话系统等。该技术的发布为AI推理效率提升提供了新的思路,未来有望在更多AI模型和应用场景中推广使用。

开发者建议

开发者可以尝试将Fathom集成到现有的AI推理流水线中,以提升KV缓存访问效率。此外,建议关注Fathom在不同模型和任务上的表现,并根据具体需求进行优化。


消息来源:Hugging Face Daily Papers (2026-09-15)

—— 完 ——

主题标签: #Fathom #KV缓存 #稀疏解码 #GPU优化 #AI推理

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…