D3D解耦扩散草稿，实现异步并行推测解码

摘要：复旦大学团队提出D3D，一种无需目标模型隐藏状态的独立扩散草稿器，通过分块去噪与辅助自回归监督，在目标模型验证当前块时并行预生成后继块，解除传统扩散推测解码的轮间串行依赖。论文在Qwen3-8B和Qwen3-32B上分别报告5.00倍与5.71倍平均解码加速，GSM8K最高达到7.48倍。团队还按接受长度贡献裁剪36层中的5层，在基本保留接受长度的同时降低草稿开销。

---

核心思路：把草稿生成从验证关键路径中移出

传统扩散推测解码器通常以目标模型的隐藏状态为条件。每一轮中，它需要先生成候选 Token 块，再由目标模型执行一次前向传播完成验证；但下一轮草稿必须等待这次验证更新隐藏状态，因此草稿与验证依然存在严格的轮间依赖。即使单个候选块能够并行去噪，端到端延迟仍受制于“先草稿、后验证、再草稿”的串行链路。

D3D 的关键变化是取消这一依赖。草稿器不再读取目标模型隐藏状态，而是使用自身的分块去噪机制和辅助自回归监督学习候选序列。目标模型验证当前块时，D3D 可以在一次打包执行中生成后继块，使草稿计算与目标模型前向传播重叠，形成异步推测解码。

从调度角度看，一个朴素实现可表示为：

T_cycle = T_draft + T_verify

D3D 试图将其改造成：

T_cycle ≈ max(T_draft, T_verify) + T_switch

其中 T_switch 包含候选块切换、同步与设备间通信开销。因此，理论收益并不只来自更快的草稿器，而来自提高草稿与验证两个计算阶段的并行度。

训练与推理机制

D3D 采用分块去噪，在一次处理中生成多个候选 Token，并通过辅助自回归监督增强连续序列建模能力。独立于目标模型隐藏状态的设计，让草稿器能够提前为后续验证轮准备候选块。

该方案的关键工程价值在于，它不要求修改 Qwen3 等目标模型，也不必为每次推理重新建立草稿器与目标模型之间的隐藏状态耦合。系统可以把草稿任务和目标模型验证任务分别调度到适合的计算资源上，例如在独立 GPU 上运行草稿器，或利用同一 GPU 上可重叠的 CUDA 流。

不过，“异步”并不意味着可以忽略同步依赖。目标模型仍需验证当前块，并决定哪些候选 Token 被接受；草稿器必须维护可用的候选块队列，并在验证结果出来后丢弃无效后缀、推进当前上下文。若草稿器速度显著低于目标模型，流水线仍会被草稿阶段限制；若通信、同步和显存占用过高，端到端收益也可能被抵消。

层裁剪：降低异步草稿的边际成本

D3D 还提出一种面向接受长度的渐进式层裁剪方法。完整草稿器包含 36 层；研究先测量各层对平均接受长度的影响，再移除 5 层，在三个以 Qwen3-8B 为目标的基准上保留超过 99% 的平均接受长度。

这是典型的吞吐—质量权衡：剪层可降低每个草稿块的前向计算量和设备间传输量，并提高流水线调度弹性，但接受长度一旦下降，目标模型需要执行更多验证轮次，端到端延迟反而可能上升。因此，部署时应直接搜索总体延迟最小的剪枝点，而不能只最大化接受长度。

性能结果及其适用边界

论文在七项基准上报告：使用 Qwen3-8B 目标模型时，D3D 平均解码加速为 5.00 倍，对比 DFlash 的 4.03 倍；使用 Qwen3-32B 时，D3D 达到 5.71 倍，对比为 3.67 倍。在 Qwen3-32B 加 GSM8K 的组合中，最高加速达到 7.48 倍。

这些结果说明，移除目标隐藏状态依赖后，草稿器更有可能与较大的目标模型并行工作。不同规模目标模型上的相对收益也说明，瓶颈并非单纯来自候选数量，而是来自草稿和验证之间无法重叠的调度结构。

但现有摘要没有披露硬件平台、批大小、输入输出长度、候选块大小、去噪步数、吞吐、端到端首 Token 延迟或显存占用，也没有给出与 EAGLE、Medusa 等经典自回归草稿方案的完整对照。因此，5—7 倍数据更适合作为论文条件下的潜力信号，而非生产环境可直接复现的性能承诺。评测还应报告每步接受 Token 数、拒绝分布、目标模型验证成本和不同序列长度下的稳定性，避免只展示最佳任务组合。

开发者落地建议

1. 先验证流水线重叠是否真实发生。 检查 CUDA Stream、动态批处理或独立设备上的草稿与验证是否并发执行，而不是把两个模型简单串行调用。
2. 同时测量延迟和吞吐。 在线聊天更关注 TTFT 与逐 Token 延迟，离线批处理更关注总吞吐；异步草稿可能改善一种指标，却让另一种指标变差。
3. 按真实负载调节剪枝。 将接受长度、剪层后的草稿成本和验证轮次共同纳入搜索，而不是固定删除 5 层。
4. 控制同步开销。 候选块跨设备传输、CPU 调度延迟和队列切换都可能侵蚀并行收益，应避免过小的块尺寸。
5. 关注任务分布。 数学、代码与开放问答的 Token 接受率不同，上线前需要在业务语料上重新校准候选长度和去噪配置。

D3D 的贡献不是单纯让扩散草稿器一次生成更多 Token，而是改变推测解码的依赖结构：草稿不再等待目标模型反馈，从而把原本串行的两阶段流程改造成可重叠的生产者—消费者式推理管线。代码已公开，为复现和系统级验证提供了基础。

---

消息来源：Hugging Face Daily Papers (2026-11-04)

—— 完 ——

主题标签： #D3D 关注 #扩散草稿器 关注 #推测解码 关注 #异步推理 关注 #Qwen3 关注