智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #On-Policy Distillation #ReAct #智能体负迁移 #选择性蒸馏 #τ²-bench

选择性OPD阻断智能体负迁移,τ²任务回升至29.9%

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:论文追踪On-policy Distillation(OPD)如何重塑LLM智能体的ReAct轨迹。通用推理监督将数学工具尝试率从70.4%降至14.4%,准确率由16.7%升至38.0%;ALFWorld监督却令τ²-bench准确率从41.5%跌至6.6%,并诱发违反用户信息依赖的工具调用。研究以领域RL前后的教师偏好变化筛选源域轨迹,仅保留前95%位置,使τ²准确率从11.5%回升至29.9%。结果表明,OPD不仅迁移解题能力,也迁移交互习惯;选择性蒸馏无需目标域标签即可缓解跨域负迁移。


核心发现:OPD会重写智能体的交互协议

这项研究没有只比较最终任务准确率,而是沿ReAct轨迹分别观察模型的推理文本、动作选择和观察获取方式。结果显示,蒸馏并非单纯复制教师的答案知识,还会把教师在特定环境中形成的工具调用习惯一并迁移到学生模型。

| 训练设置 | 摘要报告的结果 | 工程含义 | | --- | --- | --- | | 通用推理监督 | 数学工具尝试率由70.4%降至14.4%,准确率由16.7%升至38.0% | 更少调用工具并不必然削弱能力;在数学任务中,冗余工具调用可能正在制造额外错误 | | Code-interpreter监督 | 家庭操作与零售查询表现改善 | 代码解释器相关行为可以跨场景迁移,但摘要没有给出具体增益 | | ALFWorld监督 | τ²-bench准确率由41.5%跌至6.6%,并出现违反用户信息依赖的工具调用 | 源域中的主动操作习惯可能变成目标域中的过度调用和错误参数补全 | | 选择性OPD | 保留轨迹中前95%的位置后,τ²准确率由11.5%升至29.9% | 过滤少量高风险训练位置即可显著缓解负迁移,但仍未完全恢复摘要列出的41.5%基准水平 |

技术机制剖析:为什么蒸馏会迁移交互风格

典型token-level OPD可概念化为:

L_OPD = E_(s~pi_student)[sum_t KL(pi_teacher(.|s_t) || pi_student(.|s_t))]

学生模型先生成轨迹,教师再对这些学生实际访问的状态给出监督。与离线SFT不同,训练位置来自当前策略的on-policy分布,可减少传统离线数据造成的暴露偏差:教师会直接纠正学生真正走错的状态,而不是只覆盖教师自己的理想路径。

在ReAct智能体中,状态s_t不仅包含用户请求,还包含此前的推理、动作、工具返回和环境观察。蒸馏目标因此可能同时改变三类行为:

  1. 何时行动:通用推理监督让模型在数学任务中减少不必要的工具尝试。
  2. 行动参数如何组织:代码解释器监督能够迁移到家庭操作和零售查询中的参数构造方式。
  3. 何时获取信息:ALFWorld监督可能鼓励模型主动调用工具,却没有迁移τ²-bench要求的用户信息依赖,进而产生缺参调用或过早执行。

长轨迹会放大这种影响。一次过早或缺参的工具调用会改变后续观察分布,后续推理又在新的错误状态上继续生成,因此最终准确率跌幅可能远大于单步动作偏差。

选择性OPD使用领域专用RL前后教师偏好的变化作为轨迹位置信号。概念上可表示为:

delta_t = preference(teacher_after_RL, s_t) - preference(teacher_before_RL, s_t)

随后按该信号排序并保留前95%的位置。实际论文中的偏好函数、排序方向和归一化方式仍需全文确认。这一方法只使用源域训练轨迹,不依赖目标域标签,因此比直接收集τ²-bench示范更具扩展性;但它仍增加对多个教师检查点、轨迹重放和位置级评分的依赖。

工程权衡与成本

  • 轨迹质量与训练成本的冲突:on-policy rollout必须由当前学生生成,教师的逐token或逐动作打分还会增加推理开销。完整词表KL若被显式保存,单批日志与logit内存可近似按O(L×V)增长,其中L为轨迹长度、V为词表大小;top-k监督可降至约O(L×k),但会引入近似误差。
  • 缓存只能缓解部分成本:同一轨迹内可复用教师前缀的KV Cache,但学生每产生一个新分支,教师状态仍需重新计算。长链工具任务因此可能比普通问答昂贵得多。
  • 保留95%不等于影响很小:被删除的5%可能集中在轨迹早期的高杠杆位置。一个错误的首轮动作会改变整条后续轨迹,所以位置数量不是衡量训练影响的可靠指标。
  • 过滤会损失困难样本:摘要明确提到source-learning trade-off。删除不利位置可能同时删掉学生最难、最需要学习的反例,导致源域性能或策略覆盖下降。
  • 教师偏好并非客观真值:偏好变化可能编码教师模型的偏见、领域偏好或评分器误差。若目标域遵循不同规范,按教师偏好筛选仍可能把有价值但不符合教师习惯的轨迹排除。
  • 训练过滤不能替代运行时防护:即使负迁移被缓解,学生仍可能生成缺参或越权调用。Schema校验、信息依赖检查、最小权限和人工确认仍应放在执行层。

实测表现与评测边界

通用推理监督对应的数学结果最清晰:工具尝试率减少56.0个百分点,准确率增加21.3个百分点。不过,摘要没有说明“工具尝试率”的分母是任务、步骤还是token,也没有报告调用成功率和错误率;更少调用工具可能代表决策更克制,也可能只是减少了本可利用的外部计算,两者在工程成本上并不等价。

选择性OPD将τ²-bench准确率从11.5%提高到29.9%,绝对提升18.4个百分点,但仍低于摘要另列的41.5%基准数字。由于摘要没有完整说明11.5%、29.9%和41.5%是否来自完全相同的模型、提示词、工具预算和统计口径,不能据此宣称负迁移已被彻底修复。

当前材料还缺少学生与教师模型规模、上下文长度、轨迹数量、采样温度、随机种子、置信区间、训练算力及代码状态。Code-interpreter监督只有定性改善,ALFWorld负迁移也没有配套的依赖违规率、调用成本和失败类型分布。Hugging Face Daily Papers的收录能证明论文被传播,但不能替代同行评审或独立复现。因此,这些数字适合作为方法机制和风险方向的证据,不宜直接外推到生产智能体。

开发者落地与部署建议

  1. 建立三组配对实验:在相同教师、源域轨迹、提示词和工具预算下比较离线SFT、完整OPD与选择性OPD,并至少运行多个随机种子。
  2. 同时记录效率与安全性:除最终成功率外,应统计工具尝试率、缺参调用率、用户信息依赖违规率、重试次数、token消耗、端到端延迟及每个成功任务的成本。
  3. 扫描过滤阈值:不要只采用95%保留率;应比较更严格和更宽松的阈值,并绘制源域学习效果与目标域迁移效果之间的Pareto前沿。
  4. 审计高杠杆位置:重点检查轨迹早期和首次工具调用,而不仅是统计整条轨迹的平均损失。对被过滤位置进行分层抽样,可判断教师偏好信号究竟在筛除错误还是独特策略。
  5. 在harness层强制依赖约束:工具缺少必要用户信息时先触发澄清或拒绝执行;对只读与写入操作采用不同权限,并记录每次调用、参数来源和结果状态。
  6. 分阶段上线并保留回退:先在影子流量中比较原策略与OPD策略的调用轨迹,再逐步放量;一旦依赖违规率或单位成功任务成本超阈值,应回退到原检查点。

对于需要在数学、代码、家庭任务和零售代理之间迁移能力的团队,这项工作的核心启示是:不要把蒸馏视为无损的模型压缩或能力复制。真正需要优化的目标应同时覆盖任务正确率、工具调用协议与训练成本;选择性OPD提供了一条无需目标域标签的缓解路径,但生产系统仍需独立的运行时约束。


消息来源:Hugging Face Daily Papers (2026-11-14)

—— 完 ——

主题标签: #On-Policy Distillation #ReAct #智能体负迁移 #选择性蒸馏 #τ²-bench

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…