Hugging Face发布PreSTO：加速大语言模型推理的新方法

摘要：Hugging Face推出了一种名为PreSTO的新方法，通过预测性子树预取技术加速大语言模型（LLM）的推理过程。PreSTO通过批量生成未来可能的接受/拒绝决策子树，并在不改变Metropolis-Hastings（MH）转移核的情况下，显著提升了现有采样器（如PowerMH、EntropyCut和MultiTryMH）的效率。实验结果表明，PreSTO在多个数据集和基础模型上实现了1.71倍至2.33倍的中位数加速效果，同时减少了模型调用次数并优化了推理效率。

---

技术机制剖析

PreSTO通过以下核心机制实现加速：

1. 预测性子树预取：PreSTO将未来的Metropolis-Hastings（MH）决策视为一个接受/拒绝决策树。在每次模型调用时，它批量生成预取子树的提案，然后按照原始MH接受规则跟踪实际路径。这种方法通过减少顺序计算的开销，显著提升了推理速度。

2. 稀疏子树优化：PreSTO观察到MH仅访问预取子树中稀疏的、几乎是一元路径的部分。因此，它设计了一种预测性遍历规则，选择能够最大化完成转换数量的子树，从而进一步优化推理效率。

3. 不变性保证：PreSTO在加速推理的同时，保留了MH转移核的不变性，这意味着其采样过程在理论上与原始方法等价，确保了采样质量。

工程权衡与实测表现

• 加速效果：在七个数据集和五个基础模型上，PreSTO对PowerMH、EntropyCut和MultiTryMH分别实现了1.71倍、1.91倍和2.33倍的中位数加速效果。

• 模型调用次数：在PowerMH和EntropyCut上，PreSTO平均减少了3.9倍的模型调用次数，每次调用仅增加了2.1倍的时间。

• 实际应用场景：在LCB V6数据集上使用Qwen3.5-9B模型时，PreSTO的预测性遍历规则比默认的广度优先遍历方法快1.25倍至1.37倍。

开发者落地与部署建议

PreSTO的引入为开发者提供了一种在不显著增加计算成本的情况下提升LLM推理效率的途径。以下是一些部署建议：

1. 硬件适配：PreSTO对硬件资源的需求与现有方法相似，但建议在多核处理器或GPU上运行以充分利用其并行化优势。

2. 模型集成：PreSTO可以无缝集成到现有的LLM推理流水线中，无需对模型架构进行重大修改。

3. 性能调优：开发者可以根据具体应用场景调整预取子树的深度和宽度，以在加速效果和计算开销之间找到最佳平衡。

结论

PreSTO通过创新的预测性子树预取技术，显著提升了LLM的推理效率，同时保持了采样质量。其在多个基准测试中的优异表现展示了其在实际应用中的巨大潜力，为大语言模型的进一步普及和应用提供了新的技术支撑。

---

消息来源：Hugging Face Daily Papers (2026-10-09)

—— 完 ——

主题标签： #Hugging Face 关注 #大语言模型 关注 #推理加速 关注 #Metropolis-Hastings 关注 #PreSTO 关注