arXiv研究揭示：RLVR模型性能提升或源于答案格式而非实际解答能力

摘要：本研究探讨了强化学习结合可验证奖励（RLVR）模型在跨领域任务中的表现提升是否主要源于答案格式的优化，而非实际解答能力的提升。研究通过对比不同提取器对模型输出的评分，发现82%的领域外多选任务性能提升可归因于答案格式的变化，而非内容改进。这一发现表明，现有RLVR模型的性能提升可能存在虚高现象，强调了评估方法对模型能力判定的关键影响。

---

研究背景与动机

强化学习结合可验证奖励（RLVR）模型在跨领域任务中的表现提升备受关注。然而，现有评估方法主要依赖答案提取器从模型输出中提取答案，这可能引入偏差。本研究旨在探究RLVR模型在领域外任务中的性能提升是否主要源于答案格式的优化，而非实际解答能力的提升。

研究方法

研究团队生成了基础模型及其RLVR模型的输出，并使用两种不同的提取器进行评分：

1. 现有提取器：从公开代码中复制的提取器，主要关注答案框中的内容。
2. 自定义提取器：无论答案位于答案框还是文本中，均能读取答案。

研究在四个已发布的7B SimpleRL基础-RL模型对上进行了测试，并分析了多选任务中领域外性能提升的来源。

主要发现

1. 82%的性能提升归因于格式变化：使用现有提取器时，RLVR模型在领域外多选任务中表现出色。然而，使用自定义提取器后，82%的提升消失，表明提升主要源于答案格式的变化，而非内容改进。
2. 基础模型已具备良好文本答案能力：基础模型大多数答案已以文本形式呈现，而RLVR模型将答案移动到答案框中，这使得现有提取器更容易找到答案。
3. 独立LLM评估验证结果：使用独立LLM作为提取器进行评估，结果与自定义提取器一致，进一步支持了研究结论。
4. 不同训练方法的影响：在另一个32B模型对上，几乎没有格式提升现象，表明训练方法对结果有显著影响。

工程权衡与实际应用

1. 评估方法的局限性：现有评估方法可能高估RLVR模型的性能，建议在评估中采用更全面的提取器。
2. 模型改进方向：未来研究应关注如何真正提升模型的实际解答能力，而非仅优化答案格式。
3. 对RLVR应用的启示：在RLVR模型的实际应用中，应谨慎解读其性能提升，并结合多种评估方法进行验证。

结论

本研究揭示了RLVR模型在领域外任务中的性能提升可能主要源于答案格式的变化，而非实际解答能力的提升。这一发现对RLVR模型的评估和应用具有重要意义，强调了改进评估方法的重要性。

---

消息来源：ArXiv Machine Learning (cs.LG) (2026-10-16)

—— 完 ——

主题标签： #强化学习 关注 #RLVR 关注 #模型评估 关注 #arXiv 关注 #AI研究 关注