智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #RBS-Attention #长上下文 #稀疏预填充 #大语言模型 #推理效率

arXiv提出RBS-Attention:革新长上下文大语言模型的稀疏预填充技术

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 7 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv发布了一项关于长上下文大语言模型(LLMs)推理效率的研究,提出了一种名为RBS-Attention的新方法。该方法通过引入基于半径的有界稀疏预填充技术,利用双分支选择机制(中心基分支和救援分支)有效解决了传统稀疏预填充中的“平均稀释”问题。实验结果表明,RBS-Attention在H100 GPU上实现了20.65倍的独立预填充加速,并在Qwen3-30B模型上达到了5.97倍的首个token端到端加速,同时保持了高准确性。这一创新为提升长上下文LLM的推理效率提供了新的技术路径。


1. 研究背景与动机

长上下文大语言模型(LLMs)的推理过程受限于预填充阶段,其中密集自注意力机制需要处理整个提示语,导致效率低下。稀疏块选择技术可以降低计算成本,但中心基方法可能隐藏高度相关的token,导致“平均稀释”问题。

2. RBS-Attention方法概述

RBS-Attention是一种无训练稀疏预填充方法,采用双分支选择机制:

  • 中心基分支:捕捉平均相关性。
  • 救援分支:使用最大键块半径及其与提示语、层和头相关的分布,识别可能被低估的块。

通过独立阈值化两个分支并组合其掩码,RBS-Attention在保持常规块稀疏FlashAttention执行的同时,控制救援块的贡献。

3. 实验结果

  • 速度提升:在H100 GPU上,RBS-Attention实现了20.65倍的独立预填充加速,11.92倍的vLLM预填充加速,以及在Qwen3-30B-A3B-Instruct-2507-FP8上128K上下文长度的5.97倍的首个token端到端加速。
  • 准确性:在密集Qwen3-32B模型上,RBS-Attention获得了88.65的总体RULER准确性,而密集注意力为89.52。LongBench-v2、InfiniteBench和Video-MME提供了额外的质量评估。

4. 技术亮点

  • 无训练方法:无需额外训练即可实现高效稀疏预填充。
  • 双分支机制:通过中心基和救援分支的结合,有效解决了“平均稀释”问题。
  • 硬件加速:在H100 GPU上实现了显著的速度提升。

5. 行业影响与开发者建议

RBS-Attention为长上下文LLM的推理效率提升提供了新的思路,尤其适用于需要处理极长文本的应用场景,如法律文档分析、学术论文综述和跨模态推理等。开发者可以尝试将该方法集成到现有的LLM推理流水线中,以提升整体性能。


消息来源:ArXiv AI (cs.AI) (2026-09-21)

—— 完 ——

主题标签: #RBS-Attention #长上下文 #稀疏预填充 #大语言模型 #推理效率

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…