Hugging Face发布DLoop：革新自回归生成推理效率

摘要：Hugging Face推出了一种名为DLoop的新方法，通过自适应循环推测解码技术优化大语言模型（LLM）的自回归生成效率。DLoop通过在验证前执行多个草稿阶段，并在草稿模型保持高置信度时继续草稿生成，从而减少目标模型的推理次数。与现有方法相比，DLoop在保持无损解码的同时，将实际推理速度提高了5%至41%。该技术适用于多种推测解码方法，为AI生成任务提供了更高效的解决方案。

---

核心创新点

1. 自适应循环推测解码：DLoop通过在验证前执行多个草稿阶段，并在草稿模型保持高置信度时继续草稿生成，从而减少目标模型的推理次数。
2. 减少目标模型推理次数：通过在草稿模型阶段积累多个草稿，DLoop减少了目标模型在每个验证阶段的推理次数。
3. 保持无损解码：尽管减少了推理次数，DLoop依然保持了与现有方法相同的解码质量。
4. 广泛的适用性：DLoop适用于多种推测解码方法，包括EAGLE-3、DFlash、Domino、DSpark等。

技术亮点

• 循环推测解码：DLoop通过循环机制优化了草稿生成过程，使得草稿模型能够在保持高置信度的情况下继续生成草稿，从而减少目标模型的推理次数。
• 训练优化：通过暴露未验证草稿的隐藏状态给草稿模型进行训练，DLoop提高了草稿模型的可靠性。
• 性能提升：在多个基准测试中，DLoop在保持无损解码的同时，将实际推理速度提高了5%至41%。

行业影响与开发者建议

• AI生成效率提升：DLoop为AI生成任务提供了更高效的解决方案，特别是在需要快速生成文本的场景中，如对话系统、文本生成和翻译任务。
• 开发者工具：开发者可以利用DLoop优化现有的LLM推理流程，提升模型的整体性能。
• 未来研究方向：未来可以进一步探索DLoop在不同模型架构和任务上的应用，以及与其他优化技术的结合。

结论

DLoop的推出标志着AI生成领域在推理效率优化方面的重要进展。通过减少目标模型的推理次数，DLoop在保持解码质量的同时，显著提升了生成速度，为AI应用带来了新的可能性。

---

消息来源：Hugging Face Daily Papers (2026-10-06)

—— 完 ——

主题标签： #Hugging Face 关注 #DLoop 关注 #推测解码 关注 #大语言模型 关注 #推理优化 关注