智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #LoopFill #推测解码 #循环Transformer #推理优化 #投机采样

LoopFill融合多Token草稿与浅层预测,循环模型平均解码加速5.85倍

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:LoopFill提出面向循环Transformer的无训练推测解码算法,将多Token后缀草稿与浅层循环预测合并到同一草稿树:后缀命中可立即扩展浅层候选,让多个未来Token并行进入流水线。共享Transformer块批量评估不同循环深度的候选,全深度验证维持原模型的自回归输出分布。七项基准上,Ouro-2.6B与Huginn-3.5B相对贪心解码分别平均加速5.85倍和5.13倍,较LoopAhead高40%与25%。该方法同时缓解循环深度带来的串行延迟和流水线空泡,但硬件、批量、接受率与尾延迟尚未披露。


核心结论

LoopFill没有削减循环Transformer的有效深度,而是重写推测解码的候选树构造与流水线填充方式。它把多Token后缀草稿和浅层循环预测放进同一棵草稿树:浅层候选不必等待完整草稿深度,后缀命中可以立即把单步预测扩展为多Token分支,而共享Transformer块可以批量处理不同循环深度的候选。最终输出仍由全深度验证决定,因此方法针对的是循环模型的推理调度瓶颈,而不是通过近似目标模型换取速度。

为什么循环模型受串行深度拖累

设循环Transformer将同一Transformer块连续执行R次。参数可以共享,但每生成一个Token仍需完成R次块级计算。忽略批处理与算子重叠时,单Token延迟可以粗略表示为:

T_token ≈ R × T_block + T_attn + T_KV

其中T_block是块级计算,T_attn是上下文注意力成本,T_KV是缓存读取与调度开销。共享权重降低了参数量,却没有同比消除计算深度。对于长度为C的上下文,精确注意力在每轮仍需读取并聚合历史信息,循环R次意味着相关工作会重复发生;KV Cache可以摊薄Key和Value投影成本,但不能消除注意力对历史长度的依赖。

摘要没有说明各轮循环如何管理KV Cache。若每轮都保留独立缓存,显存占用可能随循环数近似线性增长;若复用同一缓存,则能节省显存,却需要处理不同深度状态之间的写入顺序和一致性。因此,生产部署不能只看Token吞吐,还必须测量峰值显存、缓存带宽和批处理并发下的尾延迟。

LoopFill如何构造候选树

  1. 浅层循环草稿:模型只执行部分循环便停止,利用较早的隐藏状态提出下一Token候选,从而绕开等待完整草稿深度的串行阶段。
  2. 多Token后缀草稿:后缀查找器从已有上下文中提出连续候选。若浅层预测命中相同后缀,该分支可立即被扩展,不必等待新的完整前向传播。
  3. 合并候选树:两种草稿器不再分别运行,而是共同生成一棵共享前缀的草稿树。多个未来Token因此可以提前进入流水线,缓解传统流水线从填充到排空阶段的空泡。
  4. 跨深度批处理:共享Transformer块在一次批次中计算不同循环深度上的候选,并保留评分最高的分支。候选树宽度越宽,可供验证的路径越多,但批处理开销和临时状态也会同步增加。
  5. 全深度验证:候选最终仍由完整深度的目标模型检查。只有满足目标分布约束的Token才能进入输出,浅层草稿不会被直接当作最终结果。

在标准采样式推测解码中,若草稿分布为q、目标分布为p,候选通常按min(1, p/q)接受,拒绝后再从残差分布采样。只要接受与拒绝校正实现正确,最终输出分布就与目标模型一致;这意味着分布保持并不等同于逐Token确定性复现。对LoopFill而言,真正的新意在于如何尽快填满候选树并并行调度多个循环深度,而不是改变全深度验证所定义的目标分布。

速度来自何处

LoopFill同时处理了两类空泡。第一类是浅层草稿必须逐个通过草稿深度后才能让下一Token进入流水线的结构性空泡;第二类是后缀草稿只能提供单Token扩展、难以形成较长连续候选的问题。合并草稿树后,后缀分支能立即延长浅层预测,多个未来Token也可以一起推进。

共享块批处理进一步提高硬件利用率,但这也带来一个重要权衡:并发候选能提高聚合吞吐,却可能增加单请求等待、队列长度和p95/p99延迟。论文摘要中的加速比没有说明它对应单流延迟、批量Token吞吐,还是特定测试框架的总执行时间,因而不能直接外推为生产SLA。

工程权衡

| 维度 | 潜在收益 | 成本与风险 | |---|---|---| | 后缀草稿 | 低成本生成多Token候选,并延长浅层分支 | 需要维护后缀表;命中率下降时收益会明显衰减 | | 候选树 | 一次验证覆盖更多路径,提高有效接受Token数 | 最坏情况下节点数随宽度和深度乘积增长,增加临时显存与调度复杂度 | | 跨深度批处理 | 隐藏循环深度延迟,减少流水线空泡 | 大批次可能抬升排队时延和尾延迟,并增加Kernel launch开销 | | 全深度验证 | 理论上保持目标模型输出分布 | 接受率、拒绝校正和边界条件实现错误仍会破坏等价性 | | 免训练部署 | 无需微调额外草稿器,迁移成本较低 | 依赖目标模型可访问浅层状态、重复块和后缀查找接口 |

候选树宽度W、深度K时,树节点的最坏规模可近似看作O(WK),还不包括嵌入、注意力临时张量和验证Logits。循环Transformer本身的KV管理可能比普通单层模型更复杂,因此工程实现应同时约束候选树宽度、KV容量和并发请求数,避免用更大的批处理掩盖显存瓶颈。

基准表现与证据边界

论文在七项基准上测试Ouro-2.6B与Huginn-3.5B,并报告:

  • 相对贪心自回归解码,平均加速分别为5.85倍和5.13倍;
  • 相对最强基线LoopAhead,分别提高40%和25%;
  • 全深度验证用于保持原模型的自回归输出分布。

这些结果说明,循环深度造成的串行等待确实可以通过更积极的候选树调度大幅压缩。但当前材料仍有几个关键缺口:没有披露硬件、精度格式、批量大小、输入输出长度及速度指标定义,也没有给出候选接受率、后缀命中率、平均接受长度、流水线占用率、p50/p95/p99延迟、峰值显存和能耗。缺少消融实验时,也无法完全拆分多Token后缀、跨深度批处理与全深度验证各自的贡献。

贪心解码是清晰且适合验证正确加速的基线,但生产系统常使用温度采样、Top-p或结构化约束,其每步目标分布和接受率可能不同。七项基准的平均值也不能替代按提示长度、输出长度和任务类型拆分的结果。因此,5倍以上应视为论文作者报告的受控实验结果,而非对所有循环模型的普遍性能承诺。

开发者落地建议

  1. 先确认模型结构适配性:LoopFill直接面向重复执行同一Transformer块的循环模型;普通单次前向Transformer无法直接获得同等循环深度收益。
  2. 建立细粒度监控:至少记录每轮候选Token数、验证Token数、接受长度、后缀命中率、各深度等待时间和流水线占用率,才能判断加速来自真实效率还是更高并发。
  3. 验证分布等价性:对固定提示和随机种子,比较LoopFill与原模型在采样模式下的输出分布、拒绝率及边界Logit;不要只比较少数贪心输出是否一致。
  4. 覆盖真实服务矩阵:同时测试batch size为1和并发服务场景,统计p50、p95、p99延迟、Token吞吐、显存、功耗及KV Cache压力。
  5. 限制候选树膨胀:为树宽、树深和后缀表容量设置硬上限;命中率不足时应退化为浅层草稿或普通自回归解码。
  6. 隔离后缀缓存:多租户服务不能让后缀查找表跨请求共享不适当的数据,并需要防止缓存条目无限增长。

结论

LoopFill的价值在于同时攻击循环Transformer的两个推理瓶颈:完整循环深度造成的串行等待,以及候选生产速度不足造成的流水线空泡。它以免训练方式把后缀多Token草稿接入浅层预测,并用全深度验证守住输出分布边界。现有报告足以证明这一方向具有较高工程潜力,但尚不足以证明其能在未知硬件和真实生产流量下稳定获得五倍加速。


消息来源:Hugging Face Daily Papers (2026-11-14)

—— 完 ——

主题标签: #LoopFill #推测解码 #循环Transformer #推理优化 #投机采样

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…