ArXiv提出ReCo方法:优化GRPO以提升大语言模型推理路径覆盖
文 / Mr.Xu 社区投稿
发布时间: · 3 次阅读
摘要:ArXiv团队提出了一种名为ReCo的重新加权方法,旨在解决Group Relative Policy Optimization (GRPO)在后训练大语言模型中存在的推理路径覆盖不足问题。GRPO在处理高概率响应时容易出现过度集中,导致模型推理能力下降,尤其是在Pass@k指标中表现不佳。ReCo通过规范化响应贡献并引入基于方差的比率,显著提升了模型在处理复杂推理任务时的表现,尤其在k值较大时效果显著。
背景与挑战
Group Relative Policy Optimization (GRPO) 是一种用于后训练大语言模型的标准强化学习方法。然而,GRPO在处理高概率响应时容易出现过度集中,导致模型推理能力下降。这种现象在Pass@k指标中尤为明显,当k值较大时,模型的推理路径覆盖不足,表现出较差的性能。
ReCo方法
为了解决上述问题,ArXiv团队提出了ReCo方法。ReCo通过以下两种机制优化GRPO:
- 响应级别的规范化:通过将响应贡献与其在展开组中的预期出现次数进行规范化,避免高概率响应过度主导梯度更新。
- 基于方差的比率替换:将传统的基于重要性的比率替换为基于方差的比率,使得非饱和决策点的更新规模更大,从而鼓励模型探索更多可能的推理路径。
实验结果
在Qwen2.5-Math-1.5B/7B和Llama-3.1-8B-Instruct模型上,ReCo在五个数学推理基准测试中进行了评估。结果表明,ReCo在k值较大时显著提升了Pass@k指标,并且在k值较小时与GRPO表现相当。
技术亮点
- 规范化响应贡献:通过规范化响应贡献,避免高概率响应过度主导梯度更新。
- 基于方差的比率:引入基于方差的比率,使得非饱和决策点的更新规模更大。
- 提升推理路径覆盖:在多个基准测试中,ReCo显著提升了模型在处理复杂推理任务时的表现。
行业影响与开发者建议
ReCo方法的提出为后训练大语言模型的优化提供了新的思路,特别是在提升模型推理能力方面。对于开发者而言,ReCo可以作为一种有效的工具,用于改进模型在复杂任务中的表现。此外,ReCo的引入也为未来大语言模型的研究提供了新的方向,例如探索更复杂的规范化方法和比率计算方法。
—— 完 ——消息来源:ArXiv cs.AI (2026-07-29)
主题标签: #ReCo #GRPO #大语言模型 #推理优化 #强化学习
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区