TreeGraft框架发布：自适应多草稿树结构解码技术革新

摘要：TreeGraft是一种新型的多草稿框架，旨在优化基于树结构的推测解码技术。它通过引入不同成本的草稿器协同构建共享草稿树，并利用更强力的草稿器对候选结果进行重新评分、重新选择嫁接位置以及恢复未探索的潜在路径，从而提升草稿树的质量。此外，TreeGraft还引入了一个轻量级调度器，以控制草稿成本并决定何时调用更强大的草稿器。在10对模型和6个基准测试中，TreeGraft平均性能提升15.1%，最大提升26.6%，展示了其在推理加速领域的巨大潜力。

---

1. 引言

在大型语言模型（LLM）推理中，推测解码（Speculative Decoding）通过草稿-验证（draft-then-verify）范式加速推理过程。树结构方法通过组织多个候选路径进一步提升了推理效率，但现有方法依赖于单一草稿器，存在性能与效率的权衡问题：小型草稿器速度快但草稿树质量低，大型草稿器则相反。

2. TreeGraft框架

TreeGraft提出了一种多草稿器协同工作的新框架，通过以下设计解决了上述问题：

• 多草稿器协同：不同成本的草稿器共同构建共享草稿树。
• 动态评分与路径恢复：更强大的草稿器用于重新评分候选结果，并恢复未探索的潜在路径。
• 非破坏性集成：在保留现有分支的同时，集成更强大的草稿器扩展。
• 轻量级调度器：通过离线价值系统训练的调度器决定何时调用更强大的草稿器，以控制草稿成本。

3. 实验结果

TreeGraft在10对模型和6个基准测试中进行了评估，结果显示：

• 平均性能提升15.1%。
• 最大性能提升26.6%。

这些结果表明，TreeGraft在推理加速方面具有显著优势，尤其是在需要高质量草稿树的应用场景中。

4. 技术亮点

• 多草稿器协同机制：通过不同成本的草稿器协同工作，平衡了推理效率与草稿树质量。
• 动态评分与路径恢复：利用更强力的草稿器对候选结果进行重新评分，并恢复潜在路径，提升了草稿树的整体质量。
• 非破坏性集成：在保留现有分支的同时，集成更强大的草稿器扩展，避免了信息丢失。
• 轻量级调度器：通过离线训练的方式，控制草稿成本，提升了整体效率。

5. 行业影响与开发者建议

TreeGraft框架为LLM推理加速提供了新的思路，尤其适用于对推理速度和草稿树质量要求较高的应用场景。开发者可以参考以下建议：

• 多草稿器协同设计：在设计推理加速方案时，考虑引入多草稿器协同机制，以提升整体性能。
• 动态调度策略：利用轻量级调度器，根据实际需求动态调用不同成本的草稿器，优化资源利用。

6. 结论

TreeGraft框架通过多草稿器协同工作，显著提升了基于树结构的推测解码效率，为LLM推理加速提供了新的技术路径。

---

消息来源：ArXiv NLP/LLM (cs.CL) (2026-08-28)

—— 完 ——

主题标签： #TreeGraft #推测解码 #多草稿器 #推理加速 #LLM