RLVR(Reinforcement Learning with Verifiable Rewards,可验证奖励强化学习)是一种用客观、确定性的程序验证器代替主观神经网络奖励模型(Reward Model),从而对大语言模型进行在线强化学习的后训练范式。
该术语由 Allen AI(AI2)在 2024 年发布的 Tülu 3 技术报告中明确提出并系统化;随后的 DeepSeek-R1 等工作进一步借助 RLVR 结合 GRPO,在大规模推理任务中证明:只要答案能被稳定验证,模型无需人工标注每一步推理过程,也能自发涌现试错、反思、回溯与长链条求解能力。
从 RLHF 到 RLVR 的范式切换
传统 RLHF 在偏好风格、安全拒答、对话礼貌性等主观任务上行之有效,但在数学推导、代码编写、精准指令遵循与工具调用等客观对错领域存在天然短板:
- 奖励模型本身的误判与过拟合(Reward Hacking):神经奖励模型只是人类偏好的近似,策略模型在长周期强化学习中极易发现奖励模型的盲区,学会「写得像对的一样」而非「真正算对」;
- 难以提供过程监督的高成本:雇佣专家逐行批改数百万条推理草稿几乎不可扩展。
RLVR 的核心思路是只对可客观校验的最终结果(或可执行状态)给分:
R(x,y)={1验证器判定输出 y 通过测试或与标准答案等价0否则(可辅以格式合规性软奖励)
典型可验证任务与验证器形态
| 领域 | 验证器实现方式 | 关键防作弊要点 |
|---|---|---|
| 数学与逻辑求解 | 符号等价比较(如 SymPy)、正则提取答案框并与 Ground Truth 对比 |
规范化数值格式(分数/小数/LaTeX 写法),防提取漏洞 |
| 软件工程与算法题 | 隔离沙箱编译执行,检查 Pass/Fail 单元测试覆盖率 |
禁止修改测试文件、屏蔽网络与超时死循环 |
| 精准约束遵循 | 确定性脚本检查字数、段落数、关键词出现、合法 JSON Schema | 将模糊偏好拆解成多条机器可检的硬约束 |
| 工具调用与环境交互 | 数据库查询比对、API 状态断言、浏览器端 DOM 校验 | 确保环境状态可重置且结果确定可复现 |
工程优势与现实边界
- 天然抗 Reward Hacking 的主干:代码过不了沙箱单测、数学符号等价算不出对的答案,模型就拿不到正奖励,逼迫模型学到真正有效的多步推理与自检策略;
- 与 GRPO 天然契合:当问题本身难度适中、每次采样 G 条推理路径中既有对也有错时,组内均值基线就能提供清晰的梯度的方向,因此 RLVR 常搭配 GRPO 开展规模化训练;
- 适用边界依然存在:现实工作中大量高价值任务——如开放式写作审美、复杂架构取舍、长文档综述质量、不确定性校准——没有简单的二进制答案。针对此类半主观任务,业界会混合使用规则校验、LLM-as-a-Judge 与多维 rubric 评分,同时严防「套壳绕过单测」等环境作弊(Specification Gaming)。
进一步阅读
- Lambert et al. / Allen AI (2024), Tülu 3: Pushing Frontiers in Open Language Model Post-Training:https://arxiv.org/abs/2411.15124
- DeepSeek-AI (2025), DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning:https://arxiv.org/abs/2501.12948