智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #Hugging Face #智能体 #强化学习 #选择性监督 #ROSS

Hugging Face发布ROSS框架:基于选择性监督的智能体行为优化技术

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Hugging Face团队推出ROSS(Relearning from Self-Generated Rollouts through Selective Supervision)框架,通过选择性监督机制优化智能体行为。该技术利用智能体自我生成的轨迹数据,在保留完整历史轨迹作为上下文的同时,仅对选定的模型生成延续应用损失,从而提升模型性能。实验结果表明,ROSS在数学、代码生成、指令跟随和软件工程等任务中均优于基线方法,并在Qwen3.6-35B-A3B模型上显著提升了多个基准测试的平均表现。这项技术展示了离线监督微调在提升智能体行为泛化能力和减少冗余训练方面的潜力。


技术背景与挑战

在大型语言模型的训练过程中,智能体通过强化学习和策略蒸馏生成自我轨迹数据。然而,随着策略的演进,这些历史轨迹数据往往被视为过时信息。尽管这些轨迹可能包含不再可靠表达的行为,但它们也可能保留着对模型有价值的经验。同时,这些数据中可能混杂着错误、废弃的尝试和冗余动作,需要更精细化的选择性监督机制来优化训练过程。

ROSS框架的核心创新

Hugging Face团队推出的ROSS框架通过以下方式解决了上述问题:

  1. 选择性监督机制:ROSS在保留完整历史轨迹作为上下文的同时,仅对选定的模型生成延续应用损失,从而避免了对错误或冗余行为的模仿。
  2. 跨领域应用:该技术适用于领域特定的强化学习、多教师策略蒸馏以及智能体强化学习等多个领域。
  3. 性能提升:在多个基准测试中,ROSS均表现出色。例如,在Qwen3.6-35B-A3B模型上,ROSS将六基准MOPD平均得分从58.40%提升至62.20%,并将SWE-bench Verified从64.20%提升至68.40%。

技术亮点

  • 高效利用历史数据:ROSS通过选择性监督机制,保留了历史轨迹中的有用信息,同时避免了不必要的行为模仿。
  • 广泛适用性:该框架不仅适用于特定领域的强化学习任务,还能在多教师策略蒸馏和智能体强化学习中发挥作用。
  • 显著性能提升:实验结果表明,ROSS在多个任务中均优于传统方法,展示了其在提升模型性能方面的巨大潜力。

行业影响与开发者建议

ROSS框架的发布为AI开发者提供了一种新的训练方法,特别是在处理复杂任务和优化智能体行为方面。其选择性监督机制不仅提高了训练效率,还提升了模型在下游任务中的表现。开发者可以尝试将ROSS应用于自己的模型训练流程中,以期获得类似的效果。同时,该技术的成功应用也表明了离线监督微调在AI训练中的重要性,为未来的研究提供了新的方向。

未来展望

随着ROSS框架的推广和应用,AI模型在处理复杂任务时的表现有望进一步提升。未来,研究人员可以探索如何将选择性监督机制与其他训练技术结合,以实现更高效、更智能的AI系统。


消息来源:Hugging Face Daily Papers (2026-09-28)

—— 完 ——

主题标签: #Hugging Face #智能体 #强化学习 #选择性监督 #ROSS

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…