Hugging Face发布ProVe：高效解码架构实现语言模型2.5倍推理加速

摘要：Hugging Face推出了一种名为ProVe的新解码架构，通过将大模型微调为提议器（Proposer），一次性预测未来多个token，再通过一个额外的验证步骤确认这些预测，从而实现语言模型的推理加速。ProVe-lossless版本在不损失准确性的情况下，可将推理吞吐量提升2.5倍；而引入一个小型验证器后，ProVe在六个基准测试中实现了2.7倍的速度提升，同时仅损失2.6个准确率点。该技术通过可调节的速度与准确性权衡，为大模型的实际应用提供了更高效的解决方案。

---

技术机制剖析

ProVe通过以下步骤实现高效解码：

1. 提议器（Proposer）微调：从标准的自回归（AR）模型检查点开始，将大模型微调为一个提议器，使其能够一次性预测未来多个token的块。
2. 验证步骤：使用一个额外的向前传递来验证提议的token块。验证器可以是较小的AR模型，也可以是提议器本身（ProVe-lossless）。
3. 加速机制：通过块提议的方式，显著减少了需要逐个解码的token数量。例如，在GSM8K数据集上，块大小为16时，平均匹配的AR前缀长度为6.6个token。

工程权衡与实测表现

• 速度与准确性的权衡：ProVe-lossless在六个基准测试中实现了2.5倍的平均AR吞吐量，而引入小型验证器后，ProVe在保持较高速度的同时，牺牲了部分准确性（六个任务平均下降2.6个准确率点）。这种权衡允许开发者根据具体应用场景调整模型性能。
• 实际应用优势：ProVe的架构设计无需训练额外的草稿头（draft head），简化了模型部署流程。此外，ProVe在资源受限环境中表现出色，例如在边缘设备上运行时，可以通过调整块大小和验证器规模来优化性能。

开发者落地与部署建议

1. 模型选择：对于对速度要求极高且可以接受一定准确性损失的应用，建议使用ProVe搭配小型验证器。
2. 块大小调整：根据任务需求调整块大小，较大的块大小可以提升速度，但可能影响准确性。
3. 验证器选择：ProVe-lossless适用于对准确性要求极高的场景，而ProVe则适用于需要平衡速度与准确性的场景。

结论

ProVe是一种创新的解码架构，通过提议器-验证器机制实现了语言模型的推理加速。其灵活的速度与准确性权衡使其适用于多种应用场景，为大模型的部署提供了新的技术路径。

---

消息来源：Hugging Face Daily Papers (2026-10-20)

—— 完 ——

主题标签： #Hugging Face 关注 #ProVe 关注 #推理加速 关注 #自回归模型 关注 #解码架构 关注