智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #多分支Transformer #Joint-KV #KV Cache #MoE #推理优化

多分支Transformer并行扩展:KV缓存降34%,单卡解码提速51.4%

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:论文提出多分支Transformer(MBT):共享首尾层,中间并行运行多组独立Transformer分支并融合输出。作者在0.8B—2.1B四种MoE规模、参数与训练算力对齐的预训练实验中比较Wide-Shallow、Narrow-Deep和Balanced;两分支Wide-Shallow稳定优于串行Transformer,Balanced在分支增多时仍保持相近质量。配合在分支表示上构建共享KV Cache的Joint-KV及缓存复用推理引擎,论文报告最高34%缓存存储下降、51.4%单张H200解码吞吐提升;缩放曲线显示标准Transformer最多需要1.26倍主体训练算力才能追平验证损失。代码、方差与外部复现仍待确认。


核心结论

多分支Transformer(Multi-Branch Transformer,MBT)没有继续沿单纯加宽FFN或堆叠残差块扩展模型,而是在共享输入层与共享输出层之间并行放置多条独立参数化的完整Transformer栈,再融合各分支表示。其价值不只是并行计算,而是把模型容量组织方式从单一串行路径改成多个可专门化的路径。

在四种总参数量为0.8B—2.1B的MoE预训练实验中,作者对参数规模和训练算力进行了匹配控制。两分支Wide-Shallow MBT持续优于串行Transformer,Balanced配置进一步改善结果,并在分支数增加时没有出现明显质量退化。加入Joint-KV和定制推理引擎后,论文报告最高34%的完整模型KV Cache存储下降,以及单张H200上最高51.4%的解码吞吐提升。

技术机制:并行分支与Joint-KV

设共享前段输出为z,第b条分支可抽象为:

h_b = F_b(L_b) ∘ F_b(L_b-1) ∘ … ∘ F_b(1)(z)

各分支完成独立计算后,由融合函数φ组合表示,再进入共享尾部层:

y = T_tail(φ({h_b}))

采集摘要没有给出φ的具体形式,但消融显示结果对不同融合函数较稳健。Wide-Shallow保持Transformer块宽度,Narrow-Deep保持串行深度,Balanced则在二者之间分配容量。等参数、等训练算力的对比设计,使实验不仅是在比较更大的模型,而是在隔离“分支拓扑”本身的作用。

Joint-KV处理的是另一项系统瓶颈。常规GQA Transformer在每层、每个token上需要保存键和值,其近似内存规模为:

M_KV ≈ 2 × L × n_kv × d_head × bytes × N

其中L为层数,n_kv为KV头数,N为活跃token数。如果B条分支各自保留独立KV Cache,分支部分的缓存开销可能接近乘以B。Joint-KV则在每个深度将各分支的K/V表示通过未公开的聚合函数G构造为共享缓存,形式上可写为K_shared(d) = G_K({K_b(d)})、V_shared(d) = G_V({V_b(d)}),从而避免为每条分支重复保存同层状态。

以两分支为例,若分支缓存占据主要部分,理论极限接近50%的分支缓存节省;完整模型仍包含共享首尾层,因此论文报告的34%属于更现实的整体收益。这一设计把结构创新与推理系统协同起来:推理引擎通过分支分组和共享缓存复用,降低解码阶段反复搬运KV的内存带宽压力。

工程权衡:质量、显存与通信

| 维度 | 潜在收益 | 必须承担的代价与边界 | |---|---|---| | 表达能力 | 多条独立路径可学习不同表示,融合后突破单纯加深或加宽的收益上限 | 分支输出可能趋同,融合位置不当还会造成信息冲突 | | 显存 | Joint-KV避免按分支重复保存KV,有利于长上下文和高并发解码 | 分支权重、激活与优化器状态仍然存在,KV节省不等于完整模型显存同比下降 | | 延迟 | 分组执行、共享缓存可减少解码阶段的KV读取和缓存管理开销 | 摘要未说明分支是否按token条件激活;若所有分支都处理每个token,额外权重流量和计算不会自动消失 | | 训练 | 分支可以映射到不同设备组并行计算 | 分支边界需要张量聚合或集合通信;跨设备扩展效果取决于互联带宽与融合频率 | | 部署 | 专用引擎可把结构优势转化为真实吞吐 | 标准推理框架通常不认识分支依赖与Joint-KV布局,需要专用内核、权重转换和运行时支持 |

因此,MBT不能被理解为免费获得的容量扩展。参数量对齐只能控制模型容量,不能自动控制训练时间、GPU数量、互联成本或推理FLOPs。尤其在短上下文、prefill占比高或低并发场景中,KV带宽并非主要瓶颈,分支带来的收益可能明显低于长上下文解码场景。

实测表现与评测边界

论文摘要给出的核心结果包括:

  • 在四种0.8B—2.1B总参数规模的MoE实验中,两分支Wide-Shallow在匹配参数与训练算力条件下持续优于串行Transformer。
  • Balanced配置取得更好结果,并在增加分支时保持相近质量,说明多分支结构没有因参数分散而立即损失表达能力。
  • 拟合缩放曲线显示,标准Transformer最多需要约1.26倍的主体训练算力,才能达到最终MBT模型的验证损失。
  • Joint-KV使完整模型KV Cache存储最多下降34%,配合分支分组引擎后,单张H200上的解码吞吐最高提高51.4%。
  • 消融实验显示,收益不只是宽度或深度变化造成;融合函数替换后结果仍较稳定,分支放在中间层的效果最好。

这些结果具有参考价值,但尚不足以证明MBT已全面优于标准Transformer。首先,“最高34%”和“最高51.4%”是最佳工况数据,不代表所有上下文长度、批大小和并发档位。其次,实验只报告验证损失与缩放曲线,尚缺少标准下游任务、长上下文检索、事实性和代码能力等结果,无法判断建模质量增益能否转化为任务收益。再次,采集内容没有给出随机种子、误差区间、数据规模、训练token数、具体基线配置和总参数与激活参数拆分。

“1.26倍主体训练算力”来自拟合曲线,也不等于端到端训练成本下降26%;嵌入层、输出层、优化器、数据处理和通信开销可能不包含在body compute口径中。51.4%的吞吐提升又依赖定制推理引擎,因此架构、Joint-KV和内核优化三者的贡献尚未被完全拆分。采集信息还未确认代码、模型权重、许可证及推理引擎是否公开。

开发者落地与部署建议

  1. 先复现等预算基线。 固定训练token、数据顺序、优化器和算力预算,同时记录总参数、每token激活参数、MFU、训练时长及分支间通信开销,不能只比较参数量。
  2. 把运行时改造纳入项目成本。 需要支持分支权重映射、分组执行、融合算子和Joint-KV专用内存布局;生产环境应保留标准Transformer回退路径,避免绑定单一定制内核。
  3. 单独验证缓存压缩的质量代价。 除困惑度外,应测试长文档检索、跨段推理、多轮上下文保持和长代码文件,并对比分支独立KV与Joint-KV的注意力分布。
  4. 拆开测量prefill与decode。 同时记录TTFT、每输出token延迟、并发吞吐、KV占用、显存带宽和能耗;MBT更可能首先受益于长上下文、高并发decode服务,而非短提示交互。
  5. 验证分支扩展曲线。 测试1、2、4及更多分支,观察质量、显存和设备扩展是否同时保持,识别分支冗余、融合失衡及通信扩展瓶颈。
  6. 检查复现资产。 在采用前确认论文代码、训练配置、检查点、融合算子、Joint-KV实现和许可证是否公开,并以目标H200或生产GPU重新测量端到端收益。

现阶段,MBT更适合被视为一条有实证支撑的架构—系统联合路线:它证明并行分支可以改善缩放效率,而共享KV能把结构收益转化为解码收益。要判断其是否能替代主流密集或MoE Transformer,仍需更大规模、长上下文任务和独立复现。


消息来源:Hugging Face Daily Papers (2026-11-15)

—— 完 ——

主题标签: #多分支Transformer #Joint-KV #KV Cache #MoE #推理优化

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…