DScout：基于因式分解的扩散推测解码框架，提升大语言模型推理效率

摘要：DScout是一种新型的扩散推测解码框架，通过因式分解训练和推理过程，显著提升大语言模型（LLM）的推理效率。该方法通过位置损失分解、混合视野训练和接受加权损失优化训练过程，并通过吞吐量与延迟比率指导推理配置选择。在Qwen3-4B和Qwen3-8B模型上的实验表明，DScout相较于自回归解码分别实现了3.84倍和4.14倍的速度提升，相较于现有最先进方法平均提升了9.1%和7.1%。DScout为高吞吐量LLM推理提供了创新解决方案，尤其适用于对延迟敏感的应用场景。

---

技术机制剖析

DScout的核心突破在于其对推测解码过程的因式分解优化。推测解码通过并行验证草稿器（drafter）生成的候选token来加速LLM推理，而DScout进一步引入了扩散草稿器以并行化候选生成。然而，传统的推测解码方法在面对高提案容量或高平均接受token（MAT）时，吞吐量未必能提升，因为验证过程仅接受连续前缀，早期拒绝可能导致后续正确预测无效。DScout通过以下方式解决这一问题：

1. 训练优化：将位置损失分解为包含损失、权重损失和预测损失，指导混合视野训练、区块内掩码和接受加权损失的设计与组合，从而提高MAT。
2. 推理优化：将吞吐量分解为MAT与每轮延迟的比率，指导目标条件深度、草稿器深度和推理块大小的选择，以找到适合不同工作负载的高吞吐量配置。

工程权衡与实测表现

DScout在训练和推理过程中引入了额外的计算开销，但通过优化配置选择和损失分解，显著提升了整体吞吐量。在Qwen3-4B和Qwen3-8B模型上的实验表明，DScout在六个基准测试中平均实现了3.84倍和4.14倍的速度提升，相较于现有最先进方法分别提升了9.1%和7.1%。这种提升在多模型和多并发设置中具有一致性，展示了DScout的广泛适用性。

开发者落地与部署建议

对于希望部署DScout的开发者，以下是一些建议：

1. 模型选择：DScout对不同规模的模型均有效，但建议在资源允许的情况下选择较大规模的模型以获得更显著的性能提升。
2. 配置优化：根据具体应用场景调整目标条件深度、草稿器深度和推理块大小，以达到最佳吞吐量。
3. 硬件适配：DScout的性能依赖于硬件的并行计算能力，建议在具备强大GPU或TPU的硬件环境中部署。

结论

DScout通过创新的因式分解方法，显著提升了LLM的推理效率，为高吞吐量应用场景提供了新的解决方案。其在多个基准测试中的优异表现，展示了其在实际应用中的巨大潜力。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-20)

—— 完 ——

主题标签： #DScout 关注 #扩散草稿器 关注 #推测解码 关注 #大语言模型 关注 #推理优化 关注