智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #Hugging Face #强化学习 #跨模型学习 #RLVR #GRAFT

Hugging Face提出GRAFT框架:跨模型轨迹交换提升RLVR性能

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 5 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Hugging Face团队提出了一种名为GRAFT的新框架,旨在解决强化学习(RLVR)中的关键挑战。GRAFT通过跨模型轨迹交换,利用异构模型在不同提示上的互补成功轨迹,显著提升了模型性能。该方法通过门控替换机制,将失败组替换为包含成功与失败响应的同伴轨迹,同时通过序列级兼容性和词级重要性比率裁剪控制跨模型差异。在多个数学推理基准测试中,GRAFT在相同推理预算下平均提升模型性能2.1分,最高可达4.5分,展现出其在高效利用同伴经验和提升模型泛化能力方面的潜力。


背景与挑战

强化学习(RL)中的可验证奖励方法(如GRPO)依赖于模型自身生成的轨迹,但有限的推理预算可能导致所有尝试均失败,从而无法提供基于奖励的策略梯度信号。尽管增加推理次数可以提高成功率,但成本较高。此外,一个模型未发现的成功轨迹可能已被另一个模型发现。异构模型在不同提示上的成功轨迹具有互补性,这为跨模型学习提供了机会。

GRAFT框架

为了利用这种互补性,Hugging Face团队提出了GRAFT(Gated Replacement of Answer-Failed groups with peer Trajectories)框架。GRAFT通过以下方式工作:

  • 门控替换机制:将失败组替换为包含成功与失败响应的同伴轨迹。
  • 跨模型信息传递:传输成功与不成功的同伴响应,同时通过同伴计算的优势进行调整。
  • 控制跨模型差异:通过序列级兼容性和词级重要性比率裁剪来控制跨模型的差异。

实验与结果

在三个异构模型对和五个数学推理基准测试中,GRAFT在相同推理预算下始终优于GRPO:

  • 平均提升:模型级平均性能提升2.1分。
  • 最高提升:最高可达4.5分。

此外,存储的同伴轨迹保留了大部分增益,在没有同时共同训练的情况下,平均提升1.8分。

技术亮点

  • 跨模型学习:通过跨模型轨迹交换,充分利用异构模型的互补优势。
  • 高效利用资源:在相同推理预算下实现显著性能提升。
  • 通用性强:适用于多种数学推理任务,展现出良好的泛化能力。

行业影响与开发者建议

GRAFT框架为强化学习领域提供了一种新的思路,特别是在资源受限的场景下。其跨模型学习的理念不仅限于RLVR,还可以扩展到其他需要高效利用同伴经验的领域。对于开发者而言,可以考虑以下建议:

  • 探索跨模型协作:在多模型协作场景中,尝试引入GRAFT的理念以提升整体性能。
  • 优化推理预算:通过跨模型信息共享,减少对单一模型的推理依赖,从而降低计算成本。
  • 关注模型互补性:在构建多模型系统时,注重模型间的互补性,以最大化跨模型学习的收益。

消息来源:Hugging Face Daily Papers (2026-09-29)

—— 完 ——

主题标签: #Hugging Face #强化学习 #跨模型学习 #RLVR #GRAFT

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…