arXiv提出RBS-Attention:革新长上下文大语言模型的稀疏预填充技术
摘要:arXiv发布了一项关于长上下文大语言模型(LLMs)推理效率的研究,提出了一种名为RBS-Attention的新方法。该方法通过引入基于半径的有界稀疏预填充技术,利用双分支选择机制(中心基分支和救援分支)有效解决了传统稀疏预填充中的“平均稀释”问题。实验结果表明,RBS-Attention在H100 GPU上实现了20.65倍的独立预填充加速,并在Qwen3-30B模型上达到了5.97倍的首个token端到端加速,同时保持了高准确性。这一创新为提升长上下文LLM的推理效率提供了新的技术路径。
1. 研究背景与动机
长上下文大语言模型(LLMs)的推理过程受限于预填充阶段,其中密集自注意力机制需要处理整个提示语,导致效率低下。稀疏块选择技术可以降低计算成本,但中心基方法可能隐藏高度相关的token,导致“平均稀释”问题。
2. RBS-Attention方法概述
RBS-Attention是一种无训练稀疏预填充方法,采用双分支选择机制:
- 中心基分支:捕捉平均相关性。
- 救援分支:使用最大键块半径及其与提示语、层和头相关的分布,识别可能被低估的块。
通过独立阈值化两个分支并组合其掩码,RBS-Attention在保持常规块稀疏FlashAttention执行的同时,控制救援块的贡献。
3. 实验结果
- 速度提升:在H100 GPU上,RBS-Attention实现了20.65倍的独立预填充加速,11.92倍的vLLM预填充加速,以及在Qwen3-30B-A3B-Instruct-2507-FP8上128K上下文长度的5.97倍的首个token端到端加速。
- 准确性:在密集Qwen3-32B模型上,RBS-Attention获得了88.65的总体RULER准确性,而密集注意力为89.52。LongBench-v2、InfiniteBench和Video-MME提供了额外的质量评估。
4. 技术亮点
- 无训练方法:无需额外训练即可实现高效稀疏预填充。
- 双分支机制:通过中心基和救援分支的结合,有效解决了“平均稀释”问题。
- 硬件加速:在H100 GPU上实现了显著的速度提升。
5. 行业影响与开发者建议
RBS-Attention为长上下文LLM的推理效率提升提供了新的思路,尤其适用于需要处理极长文本的应用场景,如法律文档分析、学术论文综述和跨模态推理等。开发者可以尝试将该方法集成到现有的LLM推理流水线中,以提升整体性能。
—— 完 ——消息来源:ArXiv AI (cs.AI) (2026-09-21)
主题标签: #RBS-Attention #长上下文 #稀疏预填充 #大语言模型 #推理效率
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区