Hugging Face提出基于相对策略差异的OPD新方法：革新强化学习智能体训练

摘要：Hugging Face的研究团队提出了一种基于相对策略差异的在线策略蒸馏（OPD）新方法，通过代理专家与代理参考策略之间的对数概率比定义隐式奖励，从而实现跨规模、训练阶段或代际的模型间高效知识迁移。实验表明，该方法在任务特定训练（如强化学习与监督微调）中表现优异，而仅依赖模型规模的差异迁移效果较弱。此外，代理专家与代理参考策略在迁移过程中扮演互补角色，前者提供可迁移的能力，后者则过滤共享行为并分离相关残差。

---

1. 背景与动机

在线策略蒸馏（OPD）是一种强化学习中的知识迁移方法，通过从更强大的教师策略中提取知识来训练目标策略。然而，传统的OPD方法依赖于教师策略显著优于目标策略，这在实际应用中可能难以满足。为了解决这一问题，Hugging Face的研究团队提出了一种基于相对策略差异的OPD新方法，通过代理专家与代理参考策略之间的对数概率比来定义隐式奖励，从而实现更灵活的知识迁移。

2. 方法与核心机制

该方法的核心在于将策略差异转化为对数概率比，并将其作为KL正则化策略优化的隐式奖励。具体来说，代理专家和代理参考策略的对数概率比定义了一个奖励函数，该函数引导目标策略向专家策略迁移，同时通过参考策略过滤掉共享行为，保留相关残差。这种方法不仅实现了跨规模、训练阶段或代际的模型间知识迁移，还恢复了传统的OPD作为其特例。

3. 实验与结果

研究团队进行了系统性的实验，结果表明：

1. 专家策略并非越强越好：任务特定训练（如强化学习和监督微调）带来的差异能够稳定迁移，而仅依赖模型规模的差异迁移效果较弱或无法迁移。
2. 专家与参考策略的互补性：专家策略提供可迁移的能力，而参考策略过滤共享行为，隔离相关残差。
3. 迁移成功与否的判断标准：即使是有用的差异也不一定适用于所有目标策略，迁移的成功需要目标策略向专家策略移动，并在采样轨迹之外进行泛化。原始策略距离并不能预测迁移性，而适当的参考策略可以挽救原本不成功的迁移。

4. 工程权衡与实际应用建议

该方法的优势在于其灵活性和广泛的适用性，能够适应不同规模和训练阶段的模型。然而，其主要挑战在于如何选择合适的代理专家和参考策略，以及如何平衡迁移效率和模型性能。此外，该方法对计算资源的需求较高，特别是在处理大规模模型时，需要优化训练流程以降低计算成本。

5. 未来展望

基于相对策略差异的OPD方法为强化学习中的知识迁移提供了新的思路，未来可以进一步探索其在多智能体系统、持续学习和跨任务迁移等领域的应用。此外，结合其他先进技术，如元学习和自监督学习，可以进一步提升该方法的性能和应用范围。

---

消息来源：Hugging Face Daily Papers (2026-10-09)

—— 完 ——

主题标签： #Hugging Face 关注 #强化学习 关注 #在线策略蒸馏 关注 #知识迁移 关注 #AI智能体 关注