Hugging Face发布SpecFold：革新扩散语言模型推测解码技术

摘要：Hugging Face推出了一种名为SpecFold的创新算法-系统协同设计，用于加速扩散语言模型（DLLM）的推测解码过程。SpecFold通过识别多分支计算冗余并利用细粒度的计算重用机制，显著提升了推测解码的效率。在多个模型和基准测试中，SpecFold相较于现有方法实现了高达1.64倍的吞吐量提升，同时保持了任务性能的一致性。这一技术为AI模型的推理效率优化提供了新的突破性解决方案。

---

核心突破

Hugging Face的研究团队推出了一种名为SpecFold的创新技术，用于加速扩散语言模型（DLLM）的推测解码过程。SpecFold的核心创新点包括：

1. 多分支计算冗余识别：SpecFold通过分析推测解码过程中多分支计算冗余，发现草稿分支在继承父分支大部分token的同时，仅需解码少量新增位置，导致隐藏状态在分支间高度相似。

2. 细粒度计算重用机制：SpecFold采用token级别的残差门控机制，并通过折叠注意力（folded attention）和前馈神经网络（FFN）选择性地重用父分支的计算结果，同时保留残差隐藏状态。

3. 系统级优化：通过Triton内核实现，SpecFold将细粒度的计算重用转化为端到端的吞吐量提升，实现了高效的多分支稀疏执行。

技术亮点

• 算法-系统协同设计：SpecFold不仅在算法层面进行创新，还在系统层面通过Triton内核实现优化，确保了技术的实际落地效果。
• 与现有方法兼容：SpecFold与时间缓存机制（temporal caching）正交，并可与现有的DLLM推测策略无缝集成。
• 性能提升显著：在多个模型和基准测试中，SpecFold相较于Spiffy和传统解码方法分别实现了高达1.64倍和1.99倍的吞吐量提升。

行业影响

SpecFold的发布为AI模型的推理效率优化提供了新的技术路径，尤其适用于对实时性要求较高的应用场景，如实时对话系统、虚拟助手和流式文本生成等。该技术的推出将推动AI模型在实际应用中的性能提升，并促进更高效的AI系统开发。

开发者建议

• 集成与测试：开发者可以尝试将SpecFold集成到现有的DLLM推理流水线中，并进行性能测试，以评估其对特定应用场景的提升效果。
• 优化策略调整：结合SpecFold的特性，开发者可以调整现有的优化策略，以充分发挥其多分支计算重用的优势。
• 关注后续更新：Hugging Face可能会发布更多关于SpecFold的优化和扩展，建议开发者持续关注相关动态。

---

消息来源：Hugging Face Daily Papers (2026-10-06)

—— 完 ——

主题标签： #Hugging Face 关注 #Diffusion Language Models 关注 #Speculative Decoding 关注 #Algorithm-System Co-Design 关注 #Inference Efficiency 关注