跳到主内容
智客 ZICQ

智客百科 技术术语

GRPO(组相对策略优化)

技术术语
别名: Group Relative Policy Optimization 组相对策略优化 ·2026-11-18

GRPO(组相对策略优化)

GRPO(Group Relative Policy Optimization,组相对策略优化) 是由 DeepSeek 团队在 2024 年论文 DeepSeekMath 中提出的一种强化学习策略优化算法。它继承了 PPO 的裁剪代理目标,但彻底移除了与策略模型同等规模的价值网络(Critic / Value Model),改为对同一问题采样一组输出并利用组内相对奖励分布来估计优势函数(Advantage),从而将强化学习阶段的核心显存开销大致减半,并成为 RLVR 与推理模型训练的主流算法。

为什么传统 PPO 在推理训练中受限

标准 RLHF / PPO 管线需要同时在显存中维护策略模型(Actor)、参考模型(Reference)、奖励模型(Reward)与价值模型(Critic)四个大网络。在长思维链推理任务中:

  • 显存双倍压力:Critic 往往需要与策略模型同参数量,占据海量 HBM 显存与通信带宽。
  • 步级价值估计困难:数学与代码推理通常只有最终对错的稀疏结果奖励,训练一个能准确预测长序列中间 Token 期望收益的 Critic 非常不稳定。

核心机制:组内相对基线

GRPO 的核心思想是用“同题多解的组内统计”替代单独的 Critic 网络:

  1. 组采样(Group Sampling):对每个输入问题 q,利用旧策略 πθold 并行采样一组 G 条完整推理轨迹 {o1,o2,…,oG}。
  2. 结果打分(Reward Scoring):通过自动校验器(如数学答案比对、单元测试执行)或奖励模型为每条轨迹评分,得到 {R1,R2,…,RG}。
  3. 组内相对优势(Group Relative Advantage):通过减去组均值并除以组标准差计算每条轨迹的标准化相对优势:
Ai=Ri−mean(R1,…,RG)std(R1,…,RG)
  1. 裁剪策略更新与 KL 约束:采用类 PPO 的裁剪比率目标更新策略参数 θ,并将相对参考模型 πref 的 KL 散度直接作为损失正则项(而非揉进单步奖励中),避免策略崩溃。

与 PPO、DPO 的工程对比

维度 PPO DPO GRPO
是否需要 Critic 网络 是(显存开销大) 否(无在线采样) 否(用组采样均值作基线)
训练数据形态 在线采样(On-policy) 离线偏好对 (yw,yl) 在线组采样(Group On-policy)
典型适用场景 通用对齐与精细步级控制 风格/礼貌/安全偏好对齐 数学、代码与可验证长程推理(RLVR)
主要工程瓶颈 四模型协同调度复杂 易受长度偏差与分布漂移影响 组采样生成阶段(Rollout)吞吐开销

实战注意事项与演进

  • Rollout 吞吐成为主瓶颈:省去 Critic 后,大量时间花在并发采样长 CoT 轨迹上,生产训练框架(如 veRL、OpenRLHF)普遍把采样侧接入 vLLM / SGLang 引擎以加速 Rollout。
  • 奖励坍缩与方差归零:当组内 G 条答案全对或全错时,std(R)=0 会导致梯度信号消失,工程上常配合难度课程过滤(剔除全对/全错样本)或无标准差缩放变体(如 Dr. GRPO)消除长度偏差。
  • 格式与防投机校验:需对推理标签(如 <think>...</think>)与最终答案格式设联合约束,防止模型通过刷长度或格式漏洞骗取校验器分数。

进一步阅读