ActObs:强化学习新方法,通过预测环境观察提升智能体探索能力
摘要:Hugging Face的研究团队提出了一种名为ActObs的新方法,通过在强化学习过程中对环境观察进行监督学习,提升智能体的探索能力。ActObs在标准监督微调(SFT)的基础上,增加了对轨迹中观察标记的预测任务,从而鼓励智能体更好地建模动作后果。这一方法在Qwen3模型上进行了验证,结果表明,在GRPO(广义强化策略优化)阶段,ActObs相较于仅监督动作的方法,在多个评估指标上表现出色,尤其在跨领域代码编辑任务中表现更为突出。ActObs通过保留更多熵并减少策略移动,使最终策略更接近其SFT初始化,从而为下游探索任务提供了更优的初始化条件。
背景与动机
在标准的强化学习(RL)流程中,智能体的轨迹记录了智能体的行为及后续环境状态。然而,传统的监督微调(SFT)方法仅对智能体生成的动作标记应用损失函数,而将环境观察作为上下文但非预测目标。这种方法是否能为后续的强化学习提供最佳初始化?Hugging Face的研究团队提出了ActObs方法,通过对轨迹中已存在的观察标记进行监督学习,尝试解决这一问题。
方法与创新
ActObs在标准SFT的基础上,增加了对观察标记的预测任务。尽管部署的智能体不会生成观察,但学习预测观察可以鼓励策略更好地建模动作后果,而无需额外的数据、参数或计算开销。
实验与结果
在Qwen3-4B模型上,ActObs在GRPO阶段的每个采样预算下均实现了更高的pass@k指标。在Qwen3-8B模型上,ActObs在牺牲少量pass@1可靠性的同时,显著提升了pass@k(+3.4 pp at pass@16),并解决了更多不同的任务。在跨领域代码编辑任务(aider-polyglot)中,ActObs在4B模型上实现了+4.2 pp的pass@1提升,这些任务在SFT和RL阶段均未见过。
技术亮点
- 观察监督:ActObs通过监督观察标记,鼓励智能体更好地建模动作后果。
- 无额外开销:该方法无需额外的数据、参数或计算资源。
- 性能提升:在多个评估指标上,ActObs均表现出色,尤其在跨领域任务中优势明显。
- 策略稳定性:ActObs保留了更多熵并减少了策略移动,使最终策略更接近其SFT初始化。
行业影响与开发者建议
ActObs为强化学习中的智能体探索提供了新的思路,尤其在复杂任务和跨领域应用中表现出色。开发者可以尝试将ActObs应用于现有的RL流程中,以提升智能体的探索能力和任务解决效率。此外,ActObs的提出也为AI研究社区提供了一个新的研究方向,即通过观察监督来增强智能体的学习能力。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-17)
主题标签: #强化学习 #ActObs #Qwen3 #智能体探索 #Hugging Face
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区