匹配算力重估GRPO：密集过程奖励为何不敌基线

摘要：一项针对强化学习可验证奖励（RLVR）的研究在6个模型、1,668次运行中引入匹配算力协议，将生成Token与训练GPU小时同时纳入比较。结果显示，依赖蒙特卡洛续写的密集过程奖励虽有更好的单次更新表现，却消耗91%的生成为续写，在等Token和等训练时间条件下反而低于标准GRPO。逐Token梯度测试还高估奖励收益约1至2个百分点。相对而言，筛选预测成功率接近50%的提示样本，可在匹配算力下带来小幅但可复现的提升。

---

核心发现：奖励设计必须按总算力比较

GRPO 通过一组候选解的相对奖励更新策略，能够在答案可自动验证的数学推理任务中强化正确行为。但密集过程奖励试图给中间推理步骤分配信用时，往往需要额外生成续写并评估每一步，这会把训练成本从主任务扩展到奖励估计环节。

研究的关键贡献不是再提出一种奖励函数，而是改变训练干预的比较方式：所有方法必须匹配生成Token预算与训练GPU小时预算，否则“每次更新提升更多”可能只是因为一次更新消耗了更多计算。

为什么密集奖励的成本容易被忽略

标准 GRPO 通常为同一问题采样一组回答，根据最终答案正确性计算组内相对优势，再把序列级奖励分配给各 Token。蒙特卡洛过程奖励则需要在中间步骤继续采样后续推理，估计该步骤导向正确答案的概率。

这种做法存在明显的成本放大：论文设置中，仅用于奖励估计的续写就占全部生成Token的91%。如果只比较单次更新后的准确率，密集奖励会天然占优，因为它实际上执行了更多采样与前向计算；而当评测预算固定时，这种优势可能完全消失。

匹配算力并不只要求Token数相同。不同奖励机制还会改变序列长度、采样次数、批处理效率和GPU利用率，因此研究同时采用等Token与等GPU小时两种预算，以避免把硬件利用率差异误判为算法收益。

1,668次运行如何改变结论

研究覆盖6个模型和1,668次训练运行，并采用预注册实验与副作用控制。在Qwen2.5-1.5B上，蒙特卡洛密集奖励按单次更新计算领先标准GRPO，但在等生成Token预算下最终准确率低14.3个百分点，在等训练时间下低7.8个百分点。四种密集奖励变体即使获得更多训练时间，也没有一种稳定超过GRPO。

这说明过程监督并非天然优于终局奖励。其潜在优势——更细粒度的信用分配——必须抵消分支采样、奖励模型计算和更长轨迹带来的成本。若忽略这一成本，研究结论可能只是预算差异，而非算法差异。

逐Token梯度测试为什么会误导

论文还检验了用单批次、逐Token梯度差异来判断奖励质量的方法。该方法的排序与完整训练大致一致，却会把各种奖励的收益高估1至2个百分点；高估幅度可能与它试图检测的实际收益相当。

原因在于，梯度诊断通常忽略训练动态、采样方差和有限批次噪声。某一步在当前策略下具有更高梯度相关性，并不意味着在数千次更新中会持续转化成准确率提升。梯度测试更适合作为快速筛选信号，而不是替代完整训练的资源分配证据。

更划算的提示选择：接近50%成功率的题目

与昂贵的密集奖励相比，提示选择利用模型已有的成功概率预测，把训练预算集中在预测成功率接近50%的样本上。这样的题目既非几乎必对，也不完全超出能力边界，因而更可能提供有效学习信号。

在匹配算力下，该策略在Qwen3-0.6B上提升1.7个百分点，在Qwen2.5-1.5B上提升0.8个百分点。收益通过新随机种子和未见题目复现。在六项预注册测试中，一个简单规则成功预测了收益出现的位置五项：候选提示的预测失败概率应高于50%，即成功率低于50%。

工程权衡与复现边界

论文的工程价值在于提供了一套更严格的RLVR消融协议：

• 每次比较同时记录生成分布、Token消耗和GPU小时，避免只按更新步数归一化。
• 使用预注册研究与独立种子，降低事后筛选带来的虚假结论。
• 将奖励模块与策略训练模块分开记账，量化奖励估计在总预算中的占比。
• 报告跨模型结果，避免把Qwen特定行为外推为通用规律。

不过，匹配算力不自动保证外部有效性。不同集群、批大小和序列长度会改变GPU效率；提示成功率的估计误差也可能受模型与任务分布影响。密集奖励在更长训练周期、蒸馏或推理时辅助监督等场景中是否仍然不划算，仍需独立验证。

给RLVR训练团队的落地建议

1. 不要按训练步比较方法：至少同时提供等Token与等GPU小时结果。
2. 单独统计奖励成本：记录用于奖励估计的生成分支、Token数和前向耗时。
3. 先做低成本提示筛选：优先训练预测成功率接近50%、且失败模式具有代表性的提示。
4. 保留GRPO强基线：密集奖励必须显著超过GRPO，而不能只展示单次更新优势。
5. 验证学习动态：检查收益是否集中在早期训练，以及提高学习率等简单替代方案能否复现增益。

研究的核心结论是：过程奖励研究必须把奖励估计本身纳入成本模型。否则，昂贵的评测器可能制造看似昂贵、实则由预算差异驱动的“算法胜利”。

---

消息来源：Hugging Face Daily Papers (2026-11-10)

—— 完 ——

主题标签： #GRPO 关注 #RLVR 关注 #过程奖励 关注 #匹配算力 关注 #强化学习 关注