智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #异步强化学习 #Score Centering #反向KL正则 #截断重要性采样 #智能体训练

RSC以反向KL正则稳住异步强化学习,提升智能体样本效率

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:《Regularized Score Centering》针对异步强化学习中旧策略数据及训练、推理数值差异引发的梯度不稳,提出RSC:在Score Centering消除奖励基线影响的基础上,加入行为策略到学习策略的反向KL惩罚,并用可选的截断重要性采样限制Token权重。论文在稠密与MoE模型、六类智能体任务上报告RSC+TIS统一领先,AppWorld提升14.3%,BabyAI达到最强基线的9.9倍。其价值在于把策略滞后直接约束进目标函数,但摘要未披露模型、随机种子、方差与实现成本,结论仍需独立复现。


《Regularized Score Centering》把异步强化学习的稳定性问题从单纯截断异常重要性权重,推进到约束学习策略与行为策略之间的分布距离。其核心组合是Score Centering、Reverse-KL正则化和可选的Truncated Importance Sampling(TIS),目标是让旧策略生成的轨迹在提高训练吞吐量的同时,仍能提供方向可靠的策略梯度。

技术机制剖析

异步RL中的行为策略 μ 负责生成rollout,学习策略 πθ 则使用这些旧轨迹更新参数。两者的参数版本差会形成off-policy偏差;同一权重在训练内核与推理内核、BF16与FP16路径或不同算子实现下产生的logit差异,也会进一步放大token级概率比。

普通重要性采样使用token级比率 w_t = πθ(a_t | s_t) / μ(a_t | s_t) 修正策略分布偏移。问题是少量过期或异常token可能产生极端权重,使梯度方差和更新步长失控。论文的梯度诊断显示,Score Centering相较直接使用重要性采样减少了极端梯度:它通过移除奖励基线对期望更新的影响,避免奖励尺度或基线漂移主导更新,但这并不能纠正行为策略与学习策略之间的分布错位。

RSC加入概念上的反向KL项:

D_KL(μ_t || πθ,t) = Σ_a μ_t(a) log(μ_t(a) / πθ,t(a))

其中,μ_t(a)表示行为策略在第t步支持的token分布,πθ,t(a)表示学习策略的对应分布。作为示意,目标可写为:

J_RSC = E_μ[R_centered - β Σ_t D_KL(μ_t || πθ,t)]

该表达用于说明机制,并非论文原式。反向KL以行为策略的支撑集为参照,惩罚学习策略给旧策略已生成动作分配过低概率的情况,因而比单纯的方差截断更直接地约束策略漂移。其梯度同时包含分布对齐与熵相关项,可降低学习策略突然跑到行为策略低概率区域的风险。

RSC可以独立使用,也可以与TIS组合。TIS在token层限制重要性权重上限,减少离群轨迹对批次均值的影响;反向KL则在分布层限制策略偏移。前者会引入截断偏差,后者也会形成类似信赖域的保守约束,二者叠加时,RSC+TIS既降低梯度方差,又限制截断之后仍可能发生的系统性漂移。论文称RSC结合TIS取得最强结果。

工程权衡

吞吐量与策略新鲜度的取舍。 同步on-policy训练每次更新都使用较新的轨迹,但rollout期间训练器空转,硬件利用率较低。异步RL允许训练器消费延迟若干个版本的轨迹,提高集群吞吐,却必须承担策略滞后。RSC缓解的是滞后带来的偏差,不会让旧数据变成严格on-policy数据;β设得过高时,模型还会被旧策略束缚,延迟学习环境变化。

KL正则的计算与存储成本。 精确的全词表KL需要计算行为策略和学习策略在完整词表上的分布,计算量随序列长度T与词表规模V近似线性增长。工程实现通常需要保存rollout时的行为logit、采用top-k近似,或只基于采样token估计KL。全词表分布保存成本过高,top-k截断则会忽略低概率支撑集,并引入额外近似偏差。摘要没有说明论文采用哪一种实现,因此实际吞吐损失尚不可估算。

TIS的偏差—方差权衡。 截断token权重能够压低梯度尾部,但被截断样本不再获得完整的无偏修正。RSC的KL项可以约束策略不至于持续向截断区域漂移,二者具有互补性;反之,如果二者同时过强,训练会偏向行为策略的高概率模式,降低探索能力。

训练与推理数值差异仍存在。 RSC不能让两套运行时产生完全一致的logit,只能限制这种差异对策略更新的影响。生产实现应统一权重精度、归约顺序和采样逻辑,并在rollout日志中记录训练侧与推理侧的logprob差,否则KL与重要性比率会把数值误差误判为策略漂移。

MoE还存在额外变量。 论文同时评测稠密模型与MoE模型,说明方法并不依赖单一架构。不过,token输出分布上的KL并不必然约束MoE路由器:如果专家分配已变化而最终token概率仍接近,策略可能在隐藏状态层面发生更深的偏移。MoE训练还应单独记录路由熵、专家切换率和各专家负载。

实测表现与证据边界

论文在数学推理及智能体任务上测试RSC,覆盖在线购物、工具使用、游戏和完全异步软件工程,并在最终评测中报告RSC+TIS于六项智能体任务全部领先。其中,AppWorld提升14.3%,BabyAI达到最强基线的9.9倍。

这些结果最直接支持的是样本效率:模型在采样相同数量的响应时获得更高训练奖励或最终任务分数。它不能直接等价为GPU小时成本、端到端墙钟时间或每个成功任务的成本下降,因为KL评估、旧策略logit存储、额外rollout与工具调用都可能抵消部分样本节省。

BabyAI的9.9倍是相对倍数,若原始基线分数很低,该比例会显著放大视觉冲击,仍需查看绝对分数和置信区间。AppWorld的14.3%同样需要确认是绝对百分点、相对提升还是作者定义的任务分数。采集摘要没有给出模型清单、训练预算、随机种子、方差、硬件、代码状态及消融结果,因此“全部任务领先”目前属于论文报告,而非独立复现结论。尤其是异步软件工程任务,还应固定工具版本、环境状态、网络失败率与重试策略,避免环境差异被误判为算法收益。

理论分析支持KL正则能够改善收敛保证,但摘要未给出收敛率、假设条件及证明范围。特别是离策略近似、函数逼近误差与MoE路由非线性如何进入理论界,仍需查阅全文,不能仅凭一句收敛结论推断对所有异步RL配置都成立。

开发者落地与部署建议

  1. 建立同预算基线。 在相同样本数、rollout次数、上下文长度、奖励函数和工具环境下,对比on-policy、IS、SC、SC+TIS、RSC、RSC+TIS;分别报告奖励、任务成功率、每成功任务Token数与GPU秒数。
  2. 监控策略滞后。 为每条轨迹记录生成它的模型版本、训练前滞后步数及有效样本量 ESS = (Σw_t)² / Σw_t²。同时跟踪token比率的p95/p99、TIS截断率、反向KL、梯度范数和rollout模型到学习模型的KL漂移。
  3. 先保守再调节正则强度。 对β和TIS上限做分阶段搜索,记录达到相同奖励所需的样本量及任务成功率。若KL快速上升而奖励停滞,通常意味着正则过强;若策略版本差扩大且比率尾部失控,则说明β或截断阈值不足。
  4. 统一数值路径。 使用float32或Kahan累加计算log-ratio,记录推理端与训练端的logprob差;避免把不同归约顺序造成的差异误当成行为策略偏移。
  5. 控制KL近似误差。 比较精确词表KL、top-k KL与单样本估计在奖励、KL和梯度范数上的差异。若采用top-k,应报告被截断动作的总概率质量,而不是只报告平均token数。
  6. 按智能体失败类型验收。 除最终成功率外,分别统计工具参数错误、无效动作、重复调用、环境状态漂移与超时;异步训练中,局部奖励上升不一定意味着完整任务链更可靠。
  7. 执行多随机种子复现。 至少报告独立训练种子的均值、标准差或置信区间,并公开行为logit存储格式、KL实现、β调度、TIS阈值和代码版本。

结论

RSC的关键贡献不是再增加一种权重裁剪技巧,而是把异步RL中的策略滞后显式纳入优化目标:Score Centering处理奖励基线,TIS压低token级梯度尾部,反向KL限制学习策略偏离行为策略。论文给出的智能体结果显示出较强样本效率潜力,但最终判断仍取决于完整消融、绝对分数、多随机种子方差以及KL正则带来的实际系统开销。


消息来源:Hugging Face Daily Papers (2026-11-16)

—— 完 ——

主题标签: #异步强化学习 #Score Centering #反向KL正则 #截断重要性采样 #智能体训练

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…