Hugging Face发布GAGAR框架:提升代码智能体强化学习质量与稳定性
摘要:Hugging Face的研究团队提出了一种名为GAGAR的新框架,旨在改进代码智能体的强化学习(RL)质量与稳定性。GAGAR通过动态采样保留测试通过和失败的轨迹,并使用经过微调的智能体评分器对测试通过的候选轨迹进行联合评估和排名。基于排名结果,系统对低排名轨迹进行降权处理,并按比例重新分配优势值,以促进更高质量实现的学习。实验结果表明,GAGAR在工业级规模的应用中显著提升了代码智能体的性能,减少了轨迹长度增长,并实现了更稳定的训练过程。
核心突破
Hugging Face的研究团队提出了一种名为GAGAR(Groupwise Agentic Grading and Advantage Redistribution)的新框架,旨在解决代码智能体强化学习(RL)中存在的关键问题。传统方法使用可执行测试提供二元奖励,忽略了实现质量和任务需求差异,导致策略无法区分干净、目标明确的实现与包含不必要或超出范围更改的实现。GAGAR通过以下方式解决了这一问题:
- 动态采样:保留包含通过和失败轨迹的组,以便进行更全面的评估。
- 智能体评分:使用经过微调的智能体评分器对测试通过的候选轨迹进行联合评估和排名。
- 优势重分配:基于排名结果,对低排名轨迹进行降权处理,并按比例重新分配优势值,以促进更高质量实现的学习。
技术亮点
- 动态采样机制:通过保留包含通过和失败轨迹的组,GAGAR能够更全面地评估实现质量。
- 智能体评分器:利用经过微调的智能体对测试通过的候选轨迹进行联合评估和排名,确保评估的准确性和一致性。
- 优势重分配策略:通过降权低排名轨迹并按比例重新分配优势值,GAGAR能够有效引导智能体学习更高质量的实现。
实验结果
在工业级规模的实验中,GAGAR被应用于MiMo-V2.6-Flash(310B参数)和MiMo-V2.6-Pro(1.02T参数)的预RL SFT检查点。实验结果表明:
- 性能提升:代码智能体的性能显著提高。
- 轨迹长度减少:轨迹长度增长减少,表明智能体在学习过程中更加高效。
- 训练稳定性增强:训练过程更加稳定,减少了训练过程中的波动。
行业影响
GAGAR框架的推出为代码智能体的强化学习提供了新的技术路径,特别是在需要高质量实现和高稳定性的应用场景中,如软件开发自动化、代码生成和智能编程助手等。开发者可以利用GAGAR框架提升智能体的学习效率和输出质量,从而加速AI驱动的软件开发进程。
开发者建议
- 尝试GAGAR框架:在代码智能体的强化学习项目中尝试应用GAGAR框架,以提升智能体的学习效率和输出质量。
- 关注动态采样和评分机制:深入了解GAGAR的动态采样和智能体评分机制,以便更好地应用于不同的应用场景。
- 参与社区讨论:加入相关社区讨论,分享使用GAGAR的经验和见解,推动该技术的进一步发展。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-26)
主题标签: #Hugging Face #强化学习 #智能体 #代码生成 #AI框架
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区