智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #大语言模型 #强化学习 #策略蒸馏 #OPDVR #ArXiv

ArXiv提出OPDVR方法:结合强化学习与策略蒸馏提升大语言模型性能

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 6 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ArXiv团队提出了一种名为OPDVR(On-policy Distillation with Verifiable Reward)的新方法,旨在解决现有大语言模型训练中强化学习(RLVR)和策略蒸馏(OPD)方法的局限性。RLVR提供任务级正确性反馈,但反馈稀疏;OPD提供密集的token级指导,但忽略了轨迹正确性。OPDVR通过重新定义隐式奖励并引入ReLU门控机制,将两者无缝结合,无需额外超参数。实验表明,OPDVR在六个推理基准测试中均优于标准OPD方法,展示了其在提升大语言模型性能方面的潜力。


背景与挑战

在训练大语言模型(LLMs)时,强化学习(RLVR)和策略蒸馏(OPD)是两种广泛采用的方法。RLVR通过任务级反馈提供正确性,但存在反馈稀疏的问题;OPD则提供密集的token级指导,但忽略了轨迹正确性,限制了模型性能仅能达到教师模型水平。

OPDVR方法

ArXiv团队提出了OPDVR(On-policy Distillation with Verifiable Reward),旨在结合RLVR和OPD的优势,同时克服各自的局限性。其核心创新点包括:

  1. 重新定义隐式奖励:基于轨迹正确性重新定义OPD的隐式奖励。
  2. 引入ReLU门控机制:确保正确轨迹获得非负奖励,错误轨迹获得非正奖励,从而将蒸馏信号与任务成功对齐,同时保留教师的分布指导。
  3. 无缝集成:通过上述修改,OPDVR将OPD转变为一种合适的RLVR方法,使其能够与任何策略梯度算法(如GRPO)结合使用。

实验结果

在六个推理基准测试中,OPDVR均表现出色,显著优于标准OPD方法。这表明OPDVR不仅保留了教师的优势,还通过RLVR的反馈机制提升了模型的整体性能。

技术亮点

  • 无超参数集成:OPDVR无需引入额外超参数,简化了模型训练过程。
  • 性能提升:在多个基准测试中,OPDVR展示了其在处理复杂推理任务时的优越性。
  • 通用性:该方法可与多种策略梯度算法结合,具有广泛的适用性。

行业影响与开发者建议

OPDVR为大语言模型的训练提供了一种新的高效方法,尤其适用于需要高推理精度和可靠性的应用场景。开发者可以尝试将OPDVR应用于现有模型,以提升其在复杂任务中的表现。此外,该方法也为未来研究提供了新的方向,例如探索更复杂的奖励机制或结合其他训练技术。


消息来源:ArXiv cs.AI (2026-08-25)

—— 完 ——

主题标签: #大语言模型 #强化学习 #策略蒸馏 #OPDVR #ArXiv

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…