Hugging Face提出RSIPO框架：革新智能体强化学习中的技能与策略协同进化

摘要：Hugging Face推出了一种名为递归自改进策略优化（RSIPO）的新框架，用于智能体强化学习（RL）。该框架通过技能与策略的协同进化，解决了传统RL方法在长时任务中的信用分配问题。RSIPO允许策略模型从已完成轨迹中提取技能，并通过轨迹回放优化技能生成能力。此外，它采用经验贝叶斯收缩技术动态校准学生对教师评分的信任度，弥补了技能增强教师指导的潜在不可靠性。在Qwen家族模型上的实验表明，RSIPO在ALFWorld等任务中表现优异，成功率高达98.6%，相较于次优基线方法和标准GRPO分别提升了2.5%和17.4%。

---

1. 引言

近年来，智能体强化学习（RL）在长时任务中的信用分配问题成为研究热点。传统方法在处理复杂任务时，往往难以有效分配信用，导致学习效率低下。Hugging Face提出的递归自改进策略优化（RSIPO）框架，通过技能与策略的协同进化，为这一问题提供了新的解决方案。

2. 技术机制剖析

RSIPO的核心机制包括以下几方面：

• 技能提取与策略优化：RSIPO允许策略模型从已完成轨迹中提取技能，并通过轨迹回放优化其技能生成能力。这一机制确保了策略模型能够持续改进其决策能力。

• 经验贝叶斯收缩：为了解决技能增强教师指导的潜在不可靠性，RSIPO采用经验贝叶斯收缩技术，动态校准学生对教师评分的信任度。这一方法在保持教师指导优势的同时，减少了对不可靠指导的依赖。

• 协同进化框架：RSIPO通过技能与策略的协同进化，实现了智能体在训练过程中的持续改进。这种框架不仅提升了模型的泛化能力，还增强了其在复杂任务中的表现。

3. 工程权衡与实测表现

在工程实现上，RSIPO面临的主要挑战包括计算复杂度和训练稳定性。通过优化算法和并行计算技术，RSIPO在保持高效训练的同时，显著提升了模型的性能。

实验结果表明，RSIPO在ALFWorld任务中表现优异，成功率高达98.6%，相较于次优基线方法和标准GRPO分别提升了2.5%和17.4%。此外，RSIPO在搜索类智能体任务中也表现出色，展示了其在长时任务处理中的强大潜力。

4. 开发者落地与部署建议

对于开发者而言，RSIPO提供了一种高效的训练框架，能够显著提升智能体在复杂任务中的表现。以下是一些部署建议：

• 资源管理：由于RSIPO需要处理大量轨迹数据，建议在训练过程中合理管理计算资源，避免内存瓶颈。

• 模型评估：在部署前，建议对RSIPO模型进行充分的评估，确保其在不同任务中的稳定性和可靠性。

• 持续优化：RSIPO框架支持持续优化，建议在应用过程中不断收集数据并改进模型，以获得最佳性能。

5. 结论

RSIPO框架通过技能与策略的协同进化，为智能体强化学习提供了新的思路。其在ALFWorld等任务中的优异表现，展示了该框架在长时任务处理中的巨大潜力。Hugging Face的这一创新，为智能体技术的发展开辟了新的方向。

---

消息来源：Hugging Face Daily Papers (2026-10-11)

—— 完 ——

主题标签： #Hugging Face 关注 #强化学习 关注 #智能体 关注 #RSIPO 关注 #Qwen 关注