智客 ZICQ
EN 登录 / 注册
智客信息 大模型 #ReCo #GRPO #大语言模型 #推理优化 #强化学习

ArXiv提出ReCo方法:优化GRPO以提升大语言模型推理路径覆盖

Mr.Xu 的头像

文 / Mr.Xu 社区投稿

发布时间: · 3 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv团队提出了一种名为ReCo的重新加权方法,旨在解决Group Relative Policy Optimization (GRPO)在后训练大语言模型中存在的推理路径覆盖不足问题。GRPO在处理高概率响应时容易出现过度集中,导致模型推理能力下降,尤其是在Pass@k指标中表现不佳。ReCo通过规范化响应贡献并引入基于方差的比率,显著提升了模型在处理复杂推理任务时的表现,尤其在k值较大时效果显著。


背景与挑战

Group Relative Policy Optimization (GRPO) 是一种用于后训练大语言模型的标准强化学习方法。然而,GRPO在处理高概率响应时容易出现过度集中,导致模型推理能力下降。这种现象在Pass@k指标中尤为明显,当k值较大时,模型的推理路径覆盖不足,表现出较差的性能。

ReCo方法

为了解决上述问题,ArXiv团队提出了ReCo方法。ReCo通过以下两种机制优化GRPO:

  1. 响应级别的规范化:通过将响应贡献与其在展开组中的预期出现次数进行规范化,避免高概率响应过度主导梯度更新。
  2. 基于方差的比率替换:将传统的基于重要性的比率替换为基于方差的比率,使得非饱和决策点的更新规模更大,从而鼓励模型探索更多可能的推理路径。

实验结果

在Qwen2.5-Math-1.5B/7B和Llama-3.1-8B-Instruct模型上,ReCo在五个数学推理基准测试中进行了评估。结果表明,ReCo在k值较大时显著提升了Pass@k指标,并且在k值较小时与GRPO表现相当。

技术亮点

  • 规范化响应贡献:通过规范化响应贡献,避免高概率响应过度主导梯度更新。
  • 基于方差的比率:引入基于方差的比率,使得非饱和决策点的更新规模更大。
  • 提升推理路径覆盖:在多个基准测试中,ReCo显著提升了模型在处理复杂推理任务时的表现。

行业影响与开发者建议

ReCo方法的提出为后训练大语言模型的优化提供了新的思路,特别是在提升模型推理能力方面。对于开发者而言,ReCo可以作为一种有效的工具,用于改进模型在复杂任务中的表现。此外,ReCo的引入也为未来大语言模型的研究提供了新的方向,例如探索更复杂的规范化方法和比率计算方法。


消息来源:ArXiv cs.AI (2026-07-29)

—— 完 ——

主题标签: #ReCo #GRPO #大语言模型 #推理优化 #强化学习

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…