Hugging Face发布SERO框架：革新长时智能体强化学习技术

摘要：Hugging Face推出了一种名为SERO（State-Rooted Executable Rollout Optimization）的新框架，用于提升长时智能体强化学习（RL）的性能。SERO通过引入可执行的oracle延续轨迹，显著改善了智能体在复杂任务中的学习效果。与传统的策略蒸馏方法不同，SERO利用真实环境中的oracle交互生成更丰富的训练数据，并通过策略可达性加权机制优化学习过程。在ALFWorld和WebShop等交互式oracle基准测试中，SERO表现出色，尤其在处理分布外任务时性能提升显著。

---

1. 引言

长时智能体强化学习（RL）面临的核心挑战之一是如何在当前策略无法有效探索未来行为时进行高效学习。当智能体的rollouts无法达到期望的行为时，传统的信用分配方法难以提供对未访问状态和动作的有效监督。现有的策略蒸馏（OPD）方法虽然引入了教师指导，但并未直接利用oracle控制的未来作为训练轨迹。

2. SERO框架的核心机制

SERO（State-Rooted Executable Rollout Optimization）通过以下机制解决了上述问题：

• 可执行oracle延续：SERO在当前策略达到的状态基础上，引入一个仅用于训练的oracle，使其继续与真实环境交互，从而生成更丰富的训练数据。
• 策略可达性加权：通过冻结的行为策略与oracle动作的兼容性来加权每个oracle步骤，使得当策略与oracle分支更兼容时，更深层的监督变得有效。
• 分离优化：oracle损失与基础RL估计器分开优化，且在推理时不使用oracle。

3. 工程权衡与实测表现

SERO在ALFWorld和WebShop两个交互式oracle基准测试中进行了评估，使用了Qwen2.5-1.5B-Instruct和Qwen2.5-7B-Instruct模型。实验结果表明：

• 学习完整可执行延续：在ALFWorld上，学习完整的可执行延续比仅监督根oracle动作更有效。
• 策略可达性加权：进一步提升了分布外任务的性能。
• 性能提升：与现有方法相比，SERO在多个基准测试中表现出色，尤其在处理复杂任务时优势明显。

4. 开发者落地与部署建议

SERO框架为智能体强化学习提供了新的技术路径，尤其适用于需要长时记忆和复杂交互的任务。开发者可以参考以下建议进行落地：

• 模型选择：根据任务复杂度选择合适的模型规模，Qwen2.5-7B-Instruct在复杂任务中表现更优。
• 训练数据增强：利用SERO生成更丰富的训练数据，提升模型在复杂任务中的表现。
• 策略可达性加权：在训练过程中引入策略可达性加权机制，优化学习过程。

5. 结论

SERO框架通过引入可执行的oracle延续和策略可达性加权机制，显著提升了长时智能体强化学习的性能。其在多个基准测试中的优异表现展示了其在复杂任务中的强大潜力，为智能体强化学习领域带来了新的突破。

---

消息来源：Hugging Face Daily Papers (2026-10-14)

—— 完 ——

主题标签： #Hugging Face 关注 #强化学习 关注 #智能体 关注 #长时记忆 关注 #SERO 关注