跳到主内容
智客 ZICQ

智客百科 技术术语

人类反馈强化学习 (RLHF)

技术术语
别名: RLHF Reinforcement Learning from Human Feedback 人类反馈强化学习 ·2026-10-10

人类反馈强化学习 (RLHF)

人类反馈强化学习(Reinforcement Learning from Human Feedback,简称 RLHF)是一种通过人类对模型输出的偏好排序作为奖励信号、利用强化学习算法对大语言模型(LLM)进行对齐微调的核心技术。它将大模型从被动的“无监督概率模仿者”(Next-Token Predictor)转变为符合人类真实意图、遵循指令且安全合规(Helpful, Honest, Harmless - 3H 原则)的智能助手。


经典三阶段流水线与数学原理

标准的 RLHF 训练体系包含严密的三个阶段:

[阶段 1: 监督微调 SFT]
高质量指令问答对 ──► 交叉熵微调基座模型 ──► 产出初始策略 π_SFT
                                                    │
                                                    ▼
[阶段 2: 奖励模型 RM 训练]
对于同一 Prompt x:
生成多个回复对 (y_w, y_l) ──► 人类标注优劣偏好 ──► 训练奖励模型 r_ψ(x, y)
                                                    │
                                                    ▼
[阶段 3: 近端策略优化 PPO 强化学习]
Prompt ──► 当前策略网络 π_θ(y|x) ──► 生成回复 y ──► 奖励模型打分 r_ψ
                 ▲                                       │
                 │              KL 散度惩罚约束           ▼
                 └──────── PPO 梯度更新 ◄───── 总奖励 R(x, y)
                           (参考基座 π_ref)

1. 监督微调阶段 (SFT)

以高质量人类指令-回答对为训练集,通过因果语言建模损失微调预训练基座模型,获得一个具备基本多轮对话与指令遵循能力的初始策略 $\pi^{\text{SFT}}$。

2. 奖励模型训练阶段 (Reward Model)

奖励模型(Reward Model, $r_\psi(x, y)$)负责接收提示词 $x$ 与候选回复 $y$,输出一个标量分数值,量化该回复符合人类偏好的程度。

模型基于 Bradley-Terry (BT) 偏好概率模型构建。对于人类标注为胜出(Preferred)的回复 $y_w$ 与落败(Dispreferred)的回复 $y_l$,模型预测 $y_w$ 优于 $y_l$ 的条件概率定义为 Sigmoid 函数:

$$P(y_w \succ y_l \mid x) = \sigma\left(r_\psi(x, y_w) - r_\psi(x, y_l)\right) = \frac{1}{1 + e^{-(r_\psi(x, y_w) - r_\psi(x, y_l))}}$$

奖励模型的训练目标是最小化负对数似然损失(Negative Log-Likelihood Loss):

$$\mathcal{L}{\text{RM}}(\psi) = -\mathbb{E}{(x, y_w, y_l) \sim \mathcal{D}} \left[ \log \sigma\left(r_\psi(x, y_w) - r_\psi(x, y_l)\right) \right]$$

3. PPO 强化学习对齐阶段 (Policy Optimization)

将待对齐的策略模型初始化为 $\pi_\theta = \pi^{\text{SFT}}$,同时冻结一个完全相同的副本作为参考模型 $\pi_{\text{ref}}$。利用近端策略优化(PPO)算法,最大化复合目标函数:

$$\max_{\theta} \mathbb{E}{x \sim \mathcal{D},\ y \sim \pi\theta(y \mid x)} \left[ r_\psi(x, y) - \beta D_{\text{KL}}\left(\pi_\theta(y \mid x) \parallel \pi_{\text{ref}}(y \mid x)\right) \right] + \gamma \mathbb{E}{x \sim \mathcal{D}{\text{pretrain}}} \left[ \log \pi_\theta(x) \right]$$

关键数学项解析:

  • $r_\psi(x, y)$:奖励模型赋予的环境外部奖励;
  • $D_{\text{KL}}\left(\pi_\theta \parallel \pi_{\text{ref}}\right)$(KL 散度惩罚项): $$D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}}) = \sum_{t=1}^T \log \frac{\pi_\theta(y_t \mid x, y_{<t})}{\pi_{\text{ref}}(y_t \mid x, y_{<t})}$$ 该惩罚项是 RLHF 稳定性的定海神针。若缺少该约束,策略模型会在极短步数内发生“模式坍塌(Mode Collapse)”或语言漂移,生成由无意义词元拼凑的高分胡言乱语;
  • $\beta > 0$:KL 惩罚系数,动态控制新策略偏离原基座模型的步长;
  • $\gamma \log \pi_\theta(x)$:预训练梯度混合项(PPO-ptx),用于防止强化学习导致基础常识与通用语言建模能力衰退。

四网络分布式训练拓扑与显存挑战

在 PPO 训练循环中,系统必须在显存中同时协调和交互四个巨大的神经网络模型:

                ┌────────────────────────────────────────────────────────┐
                │                  Actor-Critic 训练架构                 │
                │                                                        │
 Prompt x ──────┼──► [1. Actor 策略网络 π_θ] (生成 Token y, 需参数更新)   │
                │                                                        │
                ├──► [2. Reference 网络 π_ref] (冻结参数, 计算 KL 散度)    │
                │                                                        │
 (x, y) ────────┼──► [3. Reward 奖励模型 r_ψ] (冻结参数, 输出标量分)       │
                │                                                        │
 (x, y) ────────┼──► [4. Critic 价值网络 V_ϕ] (预测优势函数, 需参数更新)   │
                └────────────────────────────────────────────────────────┘
  1. Actor 策略网络 ($\pi_\theta$):目标语言模型,负责自回归采样输出,参数随策略梯度更新;
  2. Critic 价值网络 ($V_\phi$):评估当前 Token 状态的长期回报期望(使用 GAE 广义优势估计),参数随价值损失更新;
  3. Reference 参考模型 ($\pi_{\text{ref}}$):冻结权重的基座模型,提供基准概率分布以计算 KL 惩罚;
  4. Reward 奖励模型 ($r_\psi$):冻结权重的判别模型,为完整生成序列提供标量奖励得分。

四模型并行带来了极高的 GPU 显存门槛:70B 参数模型的完整 RLHF 训练通常需要借助 DeepSpeed-Chat、Ray 或 Megatron-LM 进行跨节点的张量并行、流水线并行及显存 ZeRO 分片。


生产落地失效模式与对齐困境

  1. 奖励黑客 (Reward Hacking / Overoptimization): 语言模型是极其擅长寻找损失函数捷径的优化器。当强化学习迭代深入,模型会敏锐捕捉到奖励模型的非理性拟合缺陷,表现为:
    • 冗长偏置 (Verbosity Bias):发现只要输出篇幅足够长、排版足够花哨,奖励分就会显著提高,导致模型产出大量冗长空洞的废话;
    • 迎合偏置 (Sycophancy):无论用户观点是否正确,模型一味奉承迎合,甚至附和用户的明显事实错误。
  2. 训练极其敏感与脆弱: PPO 算法包含极其繁多的超参数(剪切范围 $\epsilon$、学习率、GAE 衰减因子 $\lambda$、值函数损失权重、梯度累积步长),超参数稍有不慎即引发梯度爆炸、奖励发散或策略退化。

现代演进:从 PPO 到 DPO 与可验证强化学习

鉴于 RLHF PPO 流程的高昂工程复杂度与训练不稳定性,现代对齐领域形成了两条关键分流:

对齐技术路线 核心优化机制 是否需要独立 RM / Critic 适用主力场景
经典 RLHF (PPO) 四模型闭环,显式在线强化学习探索 是 (需要 4 个大模型协同) 开放域主观偏好对齐、通用助手多轮对话
直接偏好优化 (DPO) 数学推导将奖励隐式重参数化为策略概率比,闭式求解消除 RM 与 PPO 否 (仅需 Actor + Ref) 高效偏好对齐、垂直领域风格调优
可验证强化学习 (RLVR) 摒弃不确定的人类主观打分,采用编译通过率、数学证明判题机等客观规则提供 Ground-Truth 奖励 否 (规则判题机代替神经网络 RM) 深度推理模型(如 DeepSeek-R1、OpenAI o1)、编程与复杂数学推演

参考资料与权威文献