智客 ZICQ
EN 登录 / 注册
智客前沿 算力架构 #DNeo #推测解码 #扩散语言模型 #MoFA #推理加速

DNeo重构并行草稿特征编码,扩散LLM推理提速1.3倍

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:DNeo面向扩散语言模型的推测解码,重做小草稿器读取大目标模型隐藏状态的方式。论文提出Mixture-of-Features Attention(MoFA),以注意力混合精选目标层特征,并用工作记忆记录被拒提案;再结合两抽头因果卷积、仅前缀交叉注意力与非均匀层选择,抑制投影导致的有损“残差混合”。摘要称,相较DFlash-2生成速度提升1.3倍,且不增加草稿器参数足迹或损伤生成质量。作为arXiv预印本,它仍需在统一硬件、批量、接受长度和尾延迟口径下验证绝对吞吐、分布一致性与复现成本。


DNeo把扩散语言模型的推测解码瓶颈从“草稿器够不够小”转向“目标模型特征能否无损且有记忆地传给草稿器”。它不是新的大模型,而是位于目标模型与并行草稿器之间的轻量特征编码接口。摘要给出的核心结果是:相对DFlash-2,生成速度达到1.3倍,同时不增加草稿器参数足迹,也未观察到生成质量下降。

核心结论

推测扩散解码通常由小型并行草稿器一次提出 b 个Token,再交由大型目标模型并行验证。若一次验证能接受更多Token,目标模型的单次前向就能摊薄到更多有效输出上。其吞吐关系可近似理解为:

Throughput ≈ E[L_acc] / T_cycle

其中,L_acc 是一次循环通过的草稿Token数,T_cycle 则包括草稿生成、目标特征编码、目标验证和接受判定。DNeo的主要价值不是增加草稿器参数,而是通过更好的目标特征编码提高草稿的可辨识度,从而争取扩大 E[L_acc]。

如果论文所称的1.3倍指稳定的端到端Token吞吐,那么相同输出量下的单Token周期时间理论上下降约23.1%;但摘要没有说明该指标是否包含特征编码、草稿前向及接受判定开销,因此不能直接把1.3倍解释为所有阶段都获得同等加速。

从残差混合到MoFA

标准特征编码为何有损

并行草稿器若只依赖自身上下文,难以准确预测目标模型下一步会接受的Token。DFlash、DSpark一类方法因此把目标模型的隐藏状态送入草稿器。常见做法是选取若干目标层,再用投影层压缩到草稿器可消费的特征空间。

DNeo论文把这种压缩破坏目标特征几何的现象称为“残差混合”(residual mixing):原本来自不同深度、承担不同语义角色的隐藏状态被强行映射到同一低维接口,投影误差可能抹掉草稿器真正需要的目标信息。换言之,增加编码容量并不必然提高接受率,关键在于接口是否保留了可预测的生成信号。

MoFA如何选择和混合层特征

Mixture-of-Features Attention(MoFA)不再把所有目标层简单压缩为一个固定向量,而是让草稿器通过注意力选择并组合更有信息量的层。其概念形式可以写为:

c_t = Attn(Q_d, {K_l, V_l}_{l∈S})

这里,S 是被选中的目标层集合,Q_d 来自草稿器。该式只是帮助理解机制的示意,并非论文披露的精确实现公式。其工程意义在于:先用注意力区分不同层的贡献,再向草稿器提供条件表示,从而降低统一投影造成的信息破坏。

拒绝记忆补上反馈闭环

MoFA之外,DNeo加入工作记忆,记录此前被目标模型拒绝的提案表示,并在后续编码中继续使用这些信息。被拒Token因此不只是一次性错误,而会转化为下一轮草稿的反馈信号。

这种记忆不同于KV Cache:KV Cache保存已处理上下文的键值状态,拒绝记忆保存的是验证失败对草稿条件的修正信息。实现时必须按请求隔离,并在前缀、分支或采样条件变化时正确失效,否则旧请求的拒绝模式可能污染新序列。

三项配套改动

  • 两抽头因果卷积:利用两个因果位置提供局部时间上下文,可理解为轻量局部状态混合器。它不需要长卷积核或循环网络,但长程依赖仍需交叉注意力和显式工作记忆承担。
  • 仅前缀交叉注意力:把草稿器可见的目标信息限制在已确认前缀,减少待验证提案对条件表示的反向污染,同时降低无关上下文进入注意力计算。
  • 非均匀目标层选择:放弃对各层做等间隔采样,转而选择信息量更高的目标层。该策略可能比固定层号更适合不同模型,但层选择策略需要单独验证,不能默认一组层号能跨模型迁移。

工程权衡

特征带宽不等于免费

目标模型前向过程中本来就会产生隐藏状态,但跨层读取、保留和聚合这些张量会增加显存带宽、临时张量占用及调度复杂度。“不增加草稿器参数足迹”并不等于总显存和运行时间没有变化;特征编码器本身、跨层特征缓存及拒绝记忆都可能把成本转移到目标模型侧。

草稿批量b存在最优点

更大的 b 理论上允许一次验证覆盖更多Token,但会增加无效提案、验证负担和接受判定开销。若MoFA只小幅提高接受长度,而编码与验证成本按 b 线性增长,端到端收益可能消失。因此部署时应联合扫描 b、接受长度和每周期延迟,而不能只比较不同系统各自采用的最优参数。

首Token延迟与吞吐可能分叉

DNeo主要优化连续生成阶段的草稿接受效率,但额外目标层读取和注意力可能增加首轮草稿准备时间。批处理场景中,跨请求特征读取和状态管理还可能干扰连续批处理的效率。生产评测应分别报告TTFT、稳态Token吞吐、p50/p95/p99延迟和GPU利用率。

质量无损仍需协议验证

若推测解码采用严格的目标模型接受与拒绝修正,理论目标是保持目标分布;但DNeo改变了草稿条件,不能仅凭生成文本相似便推断分布无损。仍需比较困惑度、任务准确率、拒绝采样后的分布、重复率和长上下文退化情况。

评测与实测边界

摘要给出的主结论是:DNeo相对DFlash-2实现1.3倍生成速度,且不增加草稿器参数足迹、不影响生成质量。这个结果具有工程吸引力,但当前材料不足以复核“高质量、快推理”的完整含义。

| 待核对项目 | 当前摘要状态 | 对结论的影响 | |---|---|---| | 目标模型、草稿器与参数规模 | 未披露 | 无法判断加速是否依赖特定模型组合 | | GPU、精度、批量与上下文长度 | 未披露 | 1.3倍可能受硬件利用率和批量摊销影响 | | 草稿长度 b 与接受长度分布 | 未披露 | 无法确认收益来自更高接受率还是更短验证周期 | | TTFT、Token/s及阶段延迟 | 未披露 | 无法判断端到端收益及尾延迟风险 | | 质量指标与对照解码协议 | 未披露 | “不影响质量”暂时只能视为作者报告 | | 随机方差、重复实验与代码 | 未披露 | 尚不能评估稳定性、复现门槛与过拟合风险 |

特别是DFlash-2是否在完全相同的目标模型、采样器、温度、上下文、批量和硬件上运行,是复现实验的首要检查点。若基线参数、缓存状态或拒绝策略不同,1.3倍可能同时包含系统优化差异,而非全部来自MoFA。

开发者落地建议

  1. 先复现DFlash-2基线:固定目标模型、草稿器、精度、批量、上下文和 b,记录接受Token数、各阶段耗时与GPU显存。
  2. 离线校准目标层:在独立验证集上搜索适合当前模型的层集合,避免把层号选择变成跨模型硬编码。
  3. 把拒绝记忆做成请求级有界状态:设置容量、淘汰和失效规则,验证多轮对话、前缀缓存命中及分支采样不会串状态。
  4. 同时验收吞吐与质量:除Token/s外,纳入TTFT、p95/p99延迟、接受长度、任务准确率及目标分布一致性。
  5. 采用灰度上线:先在高并发、多租户环境验证缓存抖动与批处理效率,再决定是否替换现有DFlash或DSpark路径。

结论

DNeo抓住了并行草稿架构中经常被忽略的接口成本:目标模型的隐藏状态并不是越压缩越好,层选择、反馈记忆和前缀可见范围都会影响最终接受率。MoFA、拒绝记忆与非均匀层选择形成了较完整的工程组合,1.3倍结果也表明这一方向具备实际优化空间。但在绝对性能、统计稳定性和复现信息补齐前,它更适合被视为一条值得验证的高质量推理优化路线,而不是已经确立的新SOTA。


消息来源:ArXiv AI (cs.AI) (2026-11-18)

—— 完 ——

主题标签: #DNeo #推测解码 #扩散语言模型 #MoFA #推理加速

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…