Hugging Face发布LoopCD：革新循环Transformer解码效率

摘要：Hugging Face团队推出了一种名为LoopCD的创新解码框架，旨在提升循环Transformer模型的解码效率与性能。LoopCD通过对比最终预测与早期循环状态，在无需额外训练的情况下，利用对比解码机制引导token选择。实验结果表明，LoopCD在多个循环Transformer模型上均实现了显著的性能提升，例如将Ouro-2.6B-Thinking的AIME 2024 pass@1从61.88%提升至73.33%，同时将推理计算量减少22.5%至48.2%。这项技术不仅提升了模型解码质量，还大幅降低了计算成本，为循环Transformer的应用提供了更高效、更经济的解决方案。

---

核心突破

Hugging Face团队推出的LoopCD是一种无需额外训练即可提升循环Transformer解码效率的对比解码框架。其核心机制包括：

• 对比解码机制：通过对比最终预测与早期循环状态，LoopCD能够在logit空间或隐藏状态空间中进行高效引导，从而提升token选择的准确性。
• 两种模式：LoopCD提供两种工作模式，LoopCD-Logits在logit空间中进行对比，需额外一次输出传递；LoopCD-Hidden在隐藏状态空间中进行对比，无需额外输出开销。
• 性能提升：在多个循环Transformer模型上的实验表明，LoopCD能够显著提升模型性能。例如，将Ouro-2.6B-Thinking的AIME 2024 pass@1从61.88%提升至73.33%，将Huginn的HumanEval pass@1从22.56%提升至31.71%。

技术亮点

1. 无需额外训练：LoopCD利用现有循环Transformer模型的中间状态，无需额外训练即可实现性能提升。
2. 高效计算：通过减少循环次数，LoopCD在保持甚至超越原有性能的同时，将推理计算量减少了22.5%至48.2%。
3. 灵活性：提供两种工作模式，适应不同应用场景的需求。

行业影响

LoopCD的推出标志着循环Transformer解码效率的重大突破。其高效的性能提升和计算成本降低，使其在资源受限环境中的应用成为可能。此外，LoopCD的创新机制也为其他类型的Transformer模型提供了新的优化思路。

开发者建议

• 尝试应用：建议开发者将LoopCD应用于现有的循环Transformer模型，以提升解码效率和性能。
• 探索扩展：可以探索将LoopCD的对比解码机制扩展到其他类型的模型，以进一步提升AI系统的整体效率。
• 关注后续研究：关注Hugging Face团队的后续研究，以获取更多关于LoopCD的应用案例和优化方法。

---

消息来源：Hugging Face Daily Papers (2026-10-01)

—— 完 ——

主题标签： #Hugging Face 关注 #循环Transformer 关注 #解码效率 关注 #对比解码 关注 #AI性能优化 关注