Alibaba发布ERPO:优化大语言模型策略优化的环境正则化方法
摘要:Alibaba的研究团队推出了一种名为环境正则化策略优化(ERPO)的新方法,旨在解决大语言模型(LLM)策略优化中的稳定性与探索性权衡问题。ERPO通过引入查询分布偏移约束(QKL)和基于参考数据集的每查询权重,将正则化从动作侧转移到输入侧,从而在保持探索性的同时有效控制查询分布漂移。在六项数学推理基准测试中,ERPO表现出色,在高温度解码和长时训练场景下实现了更强的准确性和稳定性。
背景与挑战
大语言模型(LLM)的策略优化(PO)长期以来面临稳定性与探索性的权衡问题。当前的方法主要依赖于动作侧的Policy-KL正则化,但这会限制模型的响应行为并消耗探索预算,而移除正则化则会导致优化过程失去显式的漂移控制。
ERPO方法
Alibaba的研究团队提出了环境正则化策略优化(ERPO),通过以下方式解决上述问题:
- 查询分布偏移约束(QKL):ERPO引入了一个QKL项,用于限制当前策略引起的查询分布与预RL参考分布之间的偏移。
- 基于参考数据集的每查询权重:该权重使每个查询的更新更倾向于参考数据集中典型的查询。
QKL梯度仅通过查询似然流动,不直接作用于响应分布,从而保留了探索性。ERPO可以无缝集成到GRPO/PPO/REINFORCE风格的管道中,无需额外的正向传递。
实验结果
在六项数学推理基准测试中,ERPO取代了标准的Policy-KL正则化,同时实现了对查询分布漂移的有效控制,并在高温度解码和长时训练场景下表现出更强的准确性和稳定性。
技术亮点
- 创新性正则化方法:将正则化从动作侧转移到输入侧,解决了传统方法的局限性。
- 查询分布控制:通过QKL项有效控制了查询分布的漂移。
- 保持探索性:QKL梯度不直接作用于响应分布,保留了模型的探索能力。
- 性能提升:在多个基准测试中,ERPO在准确性和稳定性方面均优于传统方法。
行业影响与开发者建议
ERPO为LLM的策略优化提供了一种新的思路,特别是在需要高稳定性和强探索性的应用场景中,如自动化决策系统、复杂任务规划和动态环境交互等。开发者可以尝试将ERPO集成到现有的RL管道中,以提升模型的性能。Alibaba已开源ERPO的源代码,地址为:https://github.com/alibaba/ERPO。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-08-24)
主题标签: #Alibaba #ERPO #LLM #策略优化 #强化学习
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区