Fathom:基于稀疏解码的KV缓存优化技术发布
摘要:Fathom是一种新型稀疏解码技术,通过智能的按查询读取深度优化KV缓存访问效率。该技术通过在百万级token会话中动态决定每个键通道的读取位数,显著提升了GPU解码速度。在Qwen3-8B模型上,Fathom的解码速度比传统方法快1.67倍,同时在相同GPU时间内读取的字节数减少18%,并降低了注意力误差。该技术特别适用于大规模智能体会话和复杂任务处理,为AI推理效率提升提供了创新解决方案。
技术背景与挑战
在处理大规模智能体会话时,AI模型需要处理百万级token的请求,这对KV缓存(键值缓存)和索引的访问效率提出了极高要求。传统方法在处理这些请求时,扫描所有n个键以确定top-k步骤的优先级成为性能瓶颈,导致GPU解码速度受限。
Fathom的核心创新
Fathom提出了一种基于稀疏解码的KV缓存优化技术,其主要特点包括:
- 按查询读取深度优化:Fathom允许每个查询智能决定每个键通道的读取位数,通过反向水充填算法在通道的方差加权重要性上分配位预算。
- 4-bit K缓存存储:该技术将4-bit K缓存以位平面形式存储为通道主序,使得前缀t个平面正好是通道的t-bit量化器。
- 性能提升:在Qwen3-8B模型上,Fathom的解码速度比传统方法快1.67倍,同时在相同GPU时间内读取的字节数减少18%,并在七个模型和上下文设置中的六个上实现了更低的注意力误差。
实验结果与优势
- 解码速度提升:在Qwen3-8B模型上,Fathom的解码速度比传统方法快1.67倍。
- 字节读取减少:在相同GPU时间内,Fathom读取的字节数减少18%。
- 注意力误差降低:在七个模型和上下文设置中的六个上,Fathom实现了更低的注意力误差。
适用场景与未来展望
Fathom特别适用于需要处理大规模智能体会话和复杂任务的应用场景,例如多智能体协作、实时对话系统等。该技术的发布为AI推理效率提升提供了新的思路,未来有望在更多AI模型和应用场景中推广使用。
开发者建议
开发者可以尝试将Fathom集成到现有的AI推理流水线中,以提升KV缓存访问效率。此外,建议关注Fathom在不同模型和任务上的表现,并根据具体需求进行优化。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-15)
主题标签: #Fathom #KV缓存 #稀疏解码 #GPU优化 #AI推理
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区