Balibata提出PR-OPD：基于特权表示的强化学习新方法，显著提升智能体性能

摘要：Balibata团队提出了一种名为PR-OPD（Privileged Representation On-policy Self-Distillation）的新方法，用于改进基于语言模型的智能体强化学习训练。该方法通过特权表示的自我蒸馏机制，在无需外部技能库或额外教师模型的情况下，利用智能体自身的历史轨迹生成技能，并将其用于对齐隐藏状态，从而优化智能体的决策能力。在ALFWorld和WebShop基准测试中，PR-OPD相较于现有方法GRPO在成功率与准确率上均有显著提升，分别提高了4.7%和14.0%。这一研究为智能体在复杂任务中的表现提供了新的优化思路。

---

技术机制剖析

PR-OPD的核心机制包括以下几个关键步骤：

1. GRPO预训练：首先，智能体通过GRPO（Generalized Retrospective Policy Optimization）进行预训练，以获得初步的策略表现。

2. 特权表示生成：在每个轨迹结束后，智能体生成一个回顾性技能（hindsight skill），该技能用于描述智能体在该轨迹中的表现。

3. 自我蒸馏与对齐：智能体使用生成的特权表示作为停止梯度的教师模型，重新读取其自身响应，并将每一层的隐藏状态与教师的隐藏状态对齐。这一过程在奖励目标的基础上进行优化，无需外部技能库或额外的推理开销。

工程权衡与实测表现

PR-OPD的优势在于其高效性：通过利用智能体自身的历史轨迹生成技能，避免了对外部资源的依赖，从而降低了训练成本。此外，该方法在ALFWorld和WebShop基准测试中表现出色，显著提升了智能体的任务成功率与准确性。然而，该方法的局限性在于其对预训练策略的依赖性较强，如果初始策略表现不佳，可能会影响后续的自我蒸馏效果。

在ALFWorld基准测试中，PR-OPD相较于GRPO在成功率上提升了4.7%，而在WebShop基准测试中，准确率提高了14.0%。这些结果表明，PR-OPD在处理复杂任务时具有更强的适应性和鲁棒性。

开发者落地与部署建议

对于开发者而言，PR-OPD提供了一种无需额外资源即可提升智能体性能的方法。以下是一些部署建议：

• 预训练策略选择：选择性能较好的预训练策略，以充分发挥PR-OPD的优势。
• 资源管理：由于PR-OPD依赖于智能体自身的历史轨迹，开发者需要合理管理训练数据，以确保自我蒸馏过程的顺利进行。
• 模型评估：在部署前，建议在多个基准测试中进行评估，以验证PR-OPD在不同任务中的表现。

结论

PR-OPD是一种创新的强化学习训练方法，通过特权表示的自我蒸馏机制，显著提升了智能体在复杂任务中的表现。其高效性和无需外部资源的特性，使其成为智能体训练领域的一个重要研究方向。

---

消息来源：Hugging Face Daily Papers (2026-09-29)

—— 完 ——

主题标签： #强化学习 关注 #智能体 关注 #特权表示 关注 #自蒸馏 关注 #AI研究 关注