智客 ZICQ
EN 登录 / 注册
智客前沿 算力架构 #Tree Attention #Beam Search #vLLM #KV Cache #Ascend NPU

Tree Attention重构生成式推荐推理:无需自定义内核,时延最高降至1/25

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:面向生成式推荐推理,研究指出宽Beam、长输入和少量固定输出使服务瓶颈不同于常规LLM解码。方案用Tree Attention沿序列维拼接Beam,复用共享前缀KV Cache,并叠加部分掩码、静态缓存、循环展开、TorchAir图编译、算子融合与词表约束。论文称,在Ascend NPU上无需自定义内核,端到端时延较vLLM最高降至1/25,生成时延接近自定义内核SOTA方案。该结果凸显管线级优化价值,但摘要缺少绝对时延、模型与Beam配置、硬件型号及方差,25倍不能视为普遍增益。


生成式推荐推理的关键矛盾,是输入很长、候选束很宽,而真正生成的Token很少;瓶颈因此落在共享前缀读取、KV块管理和逐步主机调度,而不是Token生成吞吐本身。

负载特征决定优化方向

常规LLM服务通常面对较长的输出序列和相对较窄的Beam;生成式推荐则具有长输入上下文P、宽Beam Search宽度B和很少的固定输出位置G。在这种负载下,主机与加速器之间的调度、重复读取共享前缀KV Cache,以及运行时分配PagedAttention块,很可能比矩阵乘本身更早成为瓶颈。

论文把每个Beam当作独立批处理序列时,主机需要反复执行Beam处理逻辑,运行时KV块管理也会进入每个解码步骤。论文所述方案则从注意力布局和执行管线两端同时消除这些开销,而不是只优化某个矩阵乘算子。

Tree Attention如何减少KV访问

Tree Attention将多个Beam沿序列维拼接,使共享提示前缀能够在一次注意力执行中复用。预生成的部分注意力掩码负责屏蔽非法分支连接,保留各候选Beam应见的上下文,从而避免为了树状候选结构反复启动独立注意力调用。

设提示长度为P、Beam数为B、每束最多生成G个Token、模型层数为L、注意力头数为H、每头维度为D、每个缓存元素的字节数为b。在前缀仅保存一份的理想布局下,KV容量可粗略估算为:

M_tree ≈ L × 2 × (P + B × G) × H × D × b

其中系数2对应K和V。如果朴素地为每个Beam完整复制提示与后缀,容量上界式对照则为:

M_duplicate ≈ L × 2 × B × (P + G) × H × D × b

这个对照不代表vLLM在所有配置下都会物理复制前缀,但能说明共享收益在长提示、短输出场景下为何突出。带宽层面,共享前缀的KV读取量级可从每层的O(B × P × H × D × b)降至理想情况下的O(P × H × D × b);注意力分数计算仍大致为每层O(B × (P + G) × H × D),因此该方法主要回收内存带宽和重复工作,并不会消除宽Beam带来的矩阵计算成本。

从缓存管理到图执行的管线优化

论文还组合了多项系统级优化:

  1. 静态KV Cache分配:提前按稳定形状预留缓存空间,减少PagedAttention在运行时的块查找、拆分与回收。
  2. 循环展开的生成调度:利用输出Token数量较少且固定的特点,减少每个Beam步骤重新进入主机调度逻辑的开销。
  3. TorchAir图编译:把可静态化的执行流程编译为图,降低Python与框架层的逐算子启动成本。
  4. 自动算子融合:合并可融合算子,减少中间张量写回及再次读取加速器内存的次数。
  5. 词表约束解码:在候选选择阶段限制合法Token范围,避免明显无效分支进入后续Beam排序。

这套组合的关键判断是:自定义内核只优化算子内部,而Tree Attention、缓存布局和图执行解决的是算子之间及主机与设备之间的系统性浪费。

工程权衡与实测表现

论文报告,在Ascend NPU上且不开发自定义内核时,端到端时延较vLLM最高降低25倍,即最佳情形下降至约1/25;生成阶段的时延则接近采用自定义内核的SOTA方案。两项结果分别指向端到端管线收益和生成热点收益,不能混为同一指标。

代价同样明确。宽Beam会增加掩码和后缀缓存规模,静态分配则可能按最大输入与Beam形状预留显存,在请求长度波动较大时降低利用率。预生成掩码和图编译依赖相对稳定的形状,动态请求可能引发重新编译或形状分桶。词表约束会改变候选空间,部署前必须确认业务允许的输出集合,避免为了延迟牺牲推荐质量。

现有摘要没有披露绝对时延、P50与P95分位、模型规模、输入长度、Beam宽度、批量大小、vLLM版本与配置、NPU具体型号、能耗、统计方差或推荐质量指标,也未明确SOTA自定义内核方案的身份。因此,“最高25倍”只能解释为特定负载下的最佳结果,不能直接外推到CUDA、ROCm或其他推荐模型。

开发者落地与部署建议

  1. 先做分段剖析:分别测量前缀KV读取、Beam管理、运行时块分配、主机调度和设备算子时间,确认瓶颈是否与论文负载一致。
  2. 按形状分桶:对长提示、固定输出和常见Beam宽度建立有限模板,为每桶预生成掩码并编译TorchAir图,避免每个请求重新捕获执行图。
  3. 分离前缀与分支容量:共享只读提示前缀,同时为各Beam后缀设置上限;显存规划应覆盖最大分支数,而不是只按单序列长度估算。
  4. 控制约束解码边界:把词表限制作为模型或业务层策略配置,并同步评估命中率、覆盖率及推荐质量,防止错误屏蔽合法候选。
  5. 公平复测基线:至少比较原生vLLM、开启前缀复用的vLLM、管线级优化版本和自定义内核版本,同时记录绝对时延、尾延迟、吞吐、峰值显存、能耗及输出质量。
  6. 再决定是否写内核:若算子时间已不占主导,继续开发融合算子的边际收益有限;若仍存在明显设备热点,再针对融合、量化和掩码计算开发专用内核。

消息来源:ArXiv Machine Learning (cs.LG) (2026-11-19)

—— 完 ——

主题标签: #Tree Attention #Beam Search #vLLM #KV Cache #Ascend NPU

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…