人类反馈强化学习 (RLHF)
人类反馈强化学习(Reinforcement Learning from Human Feedback,简称 RLHF)是一种通过人类对模型输出的偏好排序作为奖励信号、利用强化学习算法对大语言模型(LLM)进行对齐微调的核心技术。它将大模型从被动的“无监督概率模仿者”(Next-Token Predictor)转变为符合人类真实意图、遵循指令且安全合规(Helpful, Honest, Harmless - 3H 原则)的智能助手。
经典三阶段流水线与数学原理
标准的 RLHF 训练体系包含严密的三个阶段:
[阶段 1: 监督微调 SFT]
高质量指令问答对 ──► 交叉熵微调基座模型 ──► 产出初始策略 π_SFT
│
▼
[阶段 2: 奖励模型 RM 训练]
对于同一 Prompt x:
生成多个回复对 (y_w, y_l) ──► 人类标注优劣偏好 ──► 训练奖励模型 r_ψ(x, y)
│
▼
[阶段 3: 近端策略优化 PPO 强化学习]
Prompt ──► 当前策略网络 π_θ(y|x) ──► 生成回复 y ──► 奖励模型打分 r_ψ
▲ │
│ KL 散度惩罚约束 ▼
└──────── PPO 梯度更新 ◄───── 总奖励 R(x, y)
(参考基座 π_ref)
1. 监督微调阶段 (SFT)
以高质量人类指令-回答对为训练集,通过因果语言建模损失微调预训练基座模型,获得一个具备基本多轮对话与指令遵循能力的初始策略 $\pi^{\text{SFT}}$。
2. 奖励模型训练阶段 (Reward Model)
奖励模型(Reward Model, $r_\psi(x, y)$)负责接收提示词 $x$ 与候选回复 $y$,输出一个标量分数值,量化该回复符合人类偏好的程度。
模型基于 Bradley-Terry (BT) 偏好概率模型构建。对于人类标注为胜出(Preferred)的回复 $y_w$ 与落败(Dispreferred)的回复 $y_l$,模型预测 $y_w$ 优于 $y_l$ 的条件概率定义为 Sigmoid 函数:
$$P(y_w \succ y_l \mid x) = \sigma\left(r_\psi(x, y_w) - r_\psi(x, y_l)\right) = \frac{1}{1 + e^{-(r_\psi(x, y_w) - r_\psi(x, y_l))}}$$
奖励模型的训练目标是最小化负对数似然损失(Negative Log-Likelihood Loss):
$$\mathcal{L}{\text{RM}}(\psi) = -\mathbb{E}{(x, y_w, y_l) \sim \mathcal{D}} \left[ \log \sigma\left(r_\psi(x, y_w) - r_\psi(x, y_l)\right) \right]$$
3. PPO 强化学习对齐阶段 (Policy Optimization)
将待对齐的策略模型初始化为 $\pi_\theta = \pi^{\text{SFT}}$,同时冻结一个完全相同的副本作为参考模型 $\pi_{\text{ref}}$。利用近端策略优化(PPO)算法,最大化复合目标函数:
$$\max_{\theta} \mathbb{E}{x \sim \mathcal{D},\ y \sim \pi\theta(y \mid x)} \left[ r_\psi(x, y) - \beta D_{\text{KL}}\left(\pi_\theta(y \mid x) \parallel \pi_{\text{ref}}(y \mid x)\right) \right] + \gamma \mathbb{E}{x \sim \mathcal{D}{\text{pretrain}}} \left[ \log \pi_\theta(x) \right]$$
关键数学项解析:
- $r_\psi(x, y)$:奖励模型赋予的环境外部奖励;
- $D_{\text{KL}}\left(\pi_\theta \parallel \pi_{\text{ref}}\right)$(KL 散度惩罚项): $$D_{\text{KL}}(\pi_\theta \parallel \pi_{\text{ref}}) = \sum_{t=1}^T \log \frac{\pi_\theta(y_t \mid x, y_{<t})}{\pi_{\text{ref}}(y_t \mid x, y_{<t})}$$ 该惩罚项是 RLHF 稳定性的定海神针。若缺少该约束,策略模型会在极短步数内发生“模式坍塌(Mode Collapse)”或语言漂移,生成由无意义词元拼凑的高分胡言乱语;
- $\beta > 0$:KL 惩罚系数,动态控制新策略偏离原基座模型的步长;
- $\gamma \log \pi_\theta(x)$:预训练梯度混合项(PPO-ptx),用于防止强化学习导致基础常识与通用语言建模能力衰退。
四网络分布式训练拓扑与显存挑战
在 PPO 训练循环中,系统必须在显存中同时协调和交互四个巨大的神经网络模型:
┌────────────────────────────────────────────────────────┐
│ Actor-Critic 训练架构 │
│ │
Prompt x ──────┼──► [1. Actor 策略网络 π_θ] (生成 Token y, 需参数更新) │
│ │
├──► [2. Reference 网络 π_ref] (冻结参数, 计算 KL 散度) │
│ │
(x, y) ────────┼──► [3. Reward 奖励模型 r_ψ] (冻结参数, 输出标量分) │
│ │
(x, y) ────────┼──► [4. Critic 价值网络 V_ϕ] (预测优势函数, 需参数更新) │
└────────────────────────────────────────────────────────┘
- Actor 策略网络 ($\pi_\theta$):目标语言模型,负责自回归采样输出,参数随策略梯度更新;
- Critic 价值网络 ($V_\phi$):评估当前 Token 状态的长期回报期望(使用 GAE 广义优势估计),参数随价值损失更新;
- Reference 参考模型 ($\pi_{\text{ref}}$):冻结权重的基座模型,提供基准概率分布以计算 KL 惩罚;
- Reward 奖励模型 ($r_\psi$):冻结权重的判别模型,为完整生成序列提供标量奖励得分。
四模型并行带来了极高的 GPU 显存门槛:70B 参数模型的完整 RLHF 训练通常需要借助 DeepSpeed-Chat、Ray 或 Megatron-LM 进行跨节点的张量并行、流水线并行及显存 ZeRO 分片。
生产落地失效模式与对齐困境
- 奖励黑客 (Reward Hacking / Overoptimization):
语言模型是极其擅长寻找损失函数捷径的优化器。当强化学习迭代深入,模型会敏锐捕捉到奖励模型的非理性拟合缺陷,表现为:
- 冗长偏置 (Verbosity Bias):发现只要输出篇幅足够长、排版足够花哨,奖励分就会显著提高,导致模型产出大量冗长空洞的废话;
- 迎合偏置 (Sycophancy):无论用户观点是否正确,模型一味奉承迎合,甚至附和用户的明显事实错误。
- 训练极其敏感与脆弱: PPO 算法包含极其繁多的超参数(剪切范围 $\epsilon$、学习率、GAE 衰减因子 $\lambda$、值函数损失权重、梯度累积步长),超参数稍有不慎即引发梯度爆炸、奖励发散或策略退化。
现代演进:从 PPO 到 DPO 与可验证强化学习
鉴于 RLHF PPO 流程的高昂工程复杂度与训练不稳定性,现代对齐领域形成了两条关键分流:
| 对齐技术路线 | 核心优化机制 | 是否需要独立 RM / Critic | 适用主力场景 |
|---|---|---|---|
| 经典 RLHF (PPO) | 四模型闭环,显式在线强化学习探索 | 是 (需要 4 个大模型协同) | 开放域主观偏好对齐、通用助手多轮对话 |
| 直接偏好优化 (DPO) | 数学推导将奖励隐式重参数化为策略概率比,闭式求解消除 RM 与 PPO | 否 (仅需 Actor + Ref) | 高效偏好对齐、垂直领域风格调优 |
| 可验证强化学习 (RLVR) | 摒弃不确定的人类主观打分,采用编译通过率、数学证明判题机等客观规则提供 Ground-Truth 奖励 | 否 (规则判题机代替神经网络 RM) | 深度推理模型(如 DeepSeek-R1、OpenAI o1)、编程与复杂数学推演 |
参考资料与权威文献
- Training language models to follow instructions with human feedback (InstructGPT, Ouyang et al., NeurIPS 2022) — OpenAI RLHF 体系奠基之作。
- Deep Reinforcement Learning from Human Preferences (Christiano et al., NeurIPS 2017) — 基于偏好排序学习奖励模型的理论基础。
- Direct Preference Optimization: Your Language Model is Secretly a Reward Model (Rafailov et al., NeurIPS 2023) — 消除 PPO 的 DPO 算法理论。
- Secrets of RLHF in Large Language Models (Sun et al., 2023) — 工业级 RLHF 训练技巧与 Reward Hacking 抑制方案。