Hugging Face提出RGPO框架：优化大语言模型推理能力的新方法

摘要：Hugging Face推出了一种名为Rationale-Guided Policy Optimization (RGPO)的新框架，旨在解决强化学习中奖励稀疏性问题。该框架通过自适应地利用真实理由信息作为临时指导，帮助模型生成更优的响应，从而在保留探索自由度的同时提升训练效率。实验结果表明，RGPO在语言推理和多模态任务中均表现出色，显著改善了现有RLVR基线方法的性能，为减少奖励稀疏性、稳定强化学习过程提供了创新解决方案。

---

背景与挑战

在强化学习中，奖励稀疏性问题一直是提升大语言模型推理能力的核心挑战。当模型在复杂问题中无法找到正确的轨迹时，优化过程会因缺乏有效信号而停滞不前。现有的方法通常通过引入非策略演示、专家轨迹或模型生成的解决方案来缓解这一问题，但这些方法通常要求辅助数据与强化学习任务格式匹配，这限制了其灵活性和适用性。

RGPO框架的创新

Hugging Face提出的Rationale-Guided Policy Optimization (RGPO)框架通过自适应地利用真实理由信息作为临时指导，解决了上述问题。其核心创新点包括：

• 自适应指导：RGPO根据模型的当前能力，动态调整对真实理由信息的利用程度，而不是将其作为固定的模仿目标。
• 临时指导机制：理由信息被用作临时指导，帮助模型生成更优的响应。只有在模型生成更高奖励的解决方案后，这些解决方案才会被转移回无指导的原始设置中。

实验结果与优势

实验结果表明，RGPO在语言推理和多模态任务中均表现出色：

• 性能提升：在语言推理任务中，RGPO相较于RLVR基线方法，推理准确率提高了15%-20%。
• 多模态适用性：在视觉-语言任务中，RGPO同样表现出色，展示了其在多模态环境中的广泛适用性。
• 稳定性与效率：RGPO通过减少奖励稀疏性，显著提升了强化学习的稳定性和训练效率。

技术亮点

• 自适应调整机制：RGPO能够根据模型的能力水平动态调整指导强度，避免了过度依赖外部数据的问题。
• 通用性：该框架不仅适用于语言模型，还适用于多模态模型，展示了其广泛的适用性。

行业影响与开发者建议

RGPO的推出为强化学习领域带来了新的技术路径，尤其在处理复杂推理任务时表现出色。对于开发者而言，RGPO提供了一种更高效的训练方法，可以帮助他们构建更强大的推理模型。此外，RGPO的通用性使其可以广泛应用于各种AI应用场景，包括自然语言处理、机器人控制和自动驾驶等。

---

消息来源：Hugging Face Daily Papers (2026-10-05)

—— 完 ——

主题标签： #Hugging Face 关注 #强化学习 关注 #大语言模型 关注 #推理优化 关注 #RGPO 关注