Introspective Diffusion发布ORL与dlmrt：显著提升扩散语言模型推理效率

摘要：Introspective Diffusion团队发布了一项名为ORL（On-Policy Residual Learning）的新研究，以及配套的推理引擎dlmrt，旨在显著提升扩散语言模型（dLLMs）的推理速度，同时保持或提升生成质量。ORL通过残差学习与不确定性减少技术，使模型在单次前向传递中处理更多token，实验表明在多个模型上实现了高达6.9倍的吞吐量提升。此外，dlmrt推理引擎通过CUDA图优化和NVFP4支持，在单RTX 5090上实现了2788 tokens/s的推理速度。相关代码、模型和论文均已开源。

---

技术机制剖析

Introspective Diffusion团队提出的ORL（On-Policy Residual Learning）通过以下两个核心机制实现了扩散语言模型的加速：

1. 残差学习（On-Policy Residual Learning）：

   • 传统扩散模型在每个去噪步骤中从头预测所有内容，而ORL则将之前的预测结果作为残差上下文保留，并在后续步骤中逐步细化。这种方法减少了重复计算，提高了效率。
   • 关键挑战在于，残差分布会随着训练过程变化，导致训练与推理之间产生不匹配。ORL通过在当前模型生成的新轨迹上进行训练，直接重放推理过程中遇到的残差状态，解决了这一问题。

2. 不确定性减少（Learning to Reduce Uncertainty Faster）：

   • ORL引入了“相邻熵收缩”（Adjacent Entropy Contraction）机制，鼓励每个去噪步骤相对于前一步减少不确定性。
   • 同时，ORL对损失函数进行了门控处理，避免对已经足够自信的预测进行不必要的优化，从而在保持精度的同时加快收敛速度。

工程权衡与实测表现

• 性能提升：在QwenDLM-4B模型上，ORL结合dlmrt推理引擎实现了6.9倍的端到端吞吐量提升，同时在HumanEval基准测试中，pass@1指标从82.9%提升至89.6%。
• 对比传统方法：在单H100 GPU上，QwenDLM-4B + ORL的推理速度达到1298 tokens/s，显著高于DFlash（746 tokens/s）和EAGLE3（405 tokens/s）。
• 多模型支持：ORL不仅适用于QwenDLM-4B，还对LLaDA-2.1-mini和DiffusionGemma 26B MoE等模型进行了优化，分别实现了3倍和1.2倍的吞吐量提升。
• 推理引擎优化：dlmrt通过CUDA图优化和NVFP4支持，在单RTX 5090上实现了2788 tokens/s的推理速度，展示了其在低延迟、高吞吐量场景中的强大性能。

开发者落地与部署建议

• 开源资源：Introspective Diffusion已将ORL和dlmrt的所有代码、模型和评估管道开源，开发者可以在GitHub上获取相关资源。
• 硬件要求：ORL和dlmrt对硬件要求较高，建议在配备NVIDIA RTX 5090或更高性能的GPU上进行部署。
• 应用场景：ORL和dlmrt特别适用于需要高效文本生成和推理的场景，如实时对话系统、文本生成任务和智能体决策等。

结论

Introspective Diffusion发布的ORL和dlmrt为扩散语言模型的推理效率带来了显著提升，展示了其在AI领域的创新能力和技术实力。相关开源资源为AI开发者提供了强大的工具支持，推动了扩散模型在实际应用中的落地。

---

消息来源：Reddit r/LocalLLaMA (2026-10-16)

—— 完 ——

主题标签： #Introspective Diffusion 关注 #ORL 关注 #dlmrt 关注 #扩散模型 关注 #推理加速 关注