Hugging Face发布智能体强化学习自蒸馏基准：全面评估方法性能与训练成本

摘要：Hugging Face发布了一项关于智能体强化学习自蒸馏方法的新基准研究。该研究通过在ALFWorld、ScienceWorld、Search-QA和WebShop等四个环境中，对十种代表性方法与GRPO进行对比，涵盖三种模型规模，共进行了132次训练，总计消耗12,124.4个H800 GPU小时。研究发现，现有方法在性能提升上有限，且训练稳定性与计算成本之间存在权衡。研究旨在为智能体强化学习提供公平、全面的评估基准，推动未来研究向更可靠、更具成本效益的方向发展。

---

研究背景与动机

近年来，智能体强化学习中的自蒸馏方法数量激增。然而，现有评估方法存在诸多局限性，例如在不同实验条件下重复使用已发布的基线分数、直接比较同时期方法较少，以及对训练稳定性和计算成本的关注不足。这些问题导致难以准确评估方法性能的实际来源及其优缺点。此外，智能体训练的高成本也迫切需要建立统一的评估基准。

研究方法与实验设计

为了填补这些空白，Hugging Face的研究团队设计了一项全面的基准研究，对比了十种代表性方法与GRPO的性能。实验在ALFWorld、ScienceWorld、Search-QA和WebShop四个环境中进行，涵盖三种不同的模型规模。研究共进行了132次训练，总计消耗12,124.4个H800 GPU小时，并对每个训练好的模型进行了八次评估。

核心发现

1. 性能提升有限：在所有设置中，没有一种方法能够持续超越GRPO，表明现有方法的性能提升范围有限。
2. 训练稳定性问题：一些方法虽然最终性能表现优异，但训练过程不稳定，可能导致实际应用中的可靠性问题。
3. 计算成本与性能的非线性关系：额外的训练成本并不总是能转化为更好的性能，揭示了训练成本与性能提升之间的复杂关系。

工程权衡与实际应用建议

• 权衡分析：自蒸馏方法在提升模型性能的同时，往往伴随着更高的计算成本和训练不稳定性。开发者应根据具体应用场景，在性能、训练成本和稳定性之间进行权衡。
• 部署建议：建议在资源受限的环境中优先选择训练稳定且计算成本较低的方法，而在对性能要求较高的场景中，可以考虑牺牲部分训练成本以换取更高的最终性能。

未来研究方向

这项基准研究为智能体强化学习领域提供了一个公平、全面的评估框架。未来研究应关注如何设计更高效、更稳定的自蒸馏方法，并探索新的训练策略以实现更可靠的性能提升。

项目主页

更多信息请访问项目主页：Self-Distillation in Agentic Reinforcement Learning Benchmark。

---

消息来源：Hugging Face Daily Papers (2026-10-14)

—— 完 ——

主题标签： #Hugging Face 关注 #强化学习 关注 #自蒸馏 关注 #智能体 关注 #基准测试 关注