智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #多轮智能体 #知识蒸馏 #状态匹配 #SMRC-SD

SMRC-SD:状态匹配路由与情境化自蒸馏,破解多轮智能体特权蒸馏中的状态-参考错配难题

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 9 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv最新研究提出SMRC-SD框架,针对多轮智能体在特权蒸馏中因状态-参考错配导致的监督失效问题,通过状态匹配路由和情境化自蒸馏,仅在学生当前状态与参考轨迹匹配时应用蒸馏,并构建状态条件化的教师上下文。在ALFWorld和WebShop基准上,SMRC-SD显著优于无条件全路径蒸馏,使用Qwen3-1.7B将任务成功率分别从0.746提升至0.865和从0.574提升至0.693。该研究为多轮智能体的高效训练提供了新范式。


研究背景

在多轮交互式智能体训练中,特权蒸馏(Privileged Distillation)通过同步教师模型在每一步重新评分学生响应,提供密集监督。然而,在交互环境中,学生的先前动作会持续改变执行状态,导致其轨迹可能到达参考轨迹未覆盖的状态,从而产生状态-参考错配(State-Reference Mismatch)。盲目应用特权蒸馏会使参考成为不可靠的指导。

核心方法

SMRC-SD(State-Matched Routing and Contextualized Self-Distillation)框架明确决定特权轨迹应在何时以及如何指导学生。其核心机制包括:

  • 状态匹配路由:在每一步验证学生当前执行状态是否与参考轨迹中的支持状态匹配,仅对匹配状态应用蒸馏,过滤掉缺乏局部兼容指导的步骤。
  • 情境化自蒸馏:对于每个匹配状态,从成功轨迹中构建状态条件化的教师上下文,使监督基于实际到达的状态。

实验结果

在ALFWorld和WebShop基准上,SMRC-SD一致优于无条件成功全路径蒸馏。使用Qwen3-1.7B时,任务成功率在ALFWorld上从0.746提升至0.865,在WebShop上从0.574提升至0.693。消融实验证实,选择局部支持的步骤和构建状态兼容的教师上下文均对性能提升有贡献。

技术亮点

  • 解决状态错配:通过状态匹配过滤,避免参考轨迹与当前状态不兼容导致的误导。
  • 情境化指导:构建状态条件化的教师上下文,使监督更贴合实际状态。
  • 显著性能提升:在多个基准上带来大幅成功率提升,且代码已开源。

行业影响与开发者建议

该研究为多轮智能体训练提供了更可靠的蒸馏方法,尤其适用于交互式环境中的任务。开发者可借鉴SMRC-SD的思路,在训练中引入状态感知的监督机制,提升智能体在复杂环境中的泛化能力。代码已开源,便于复现与进一步研究。

参考

  • 论文链接:https://arxiv.org/abs/2608.05219
  • 代码仓库:https://github.com/liujunzhuo/SMRC-SD
—— 完 ——

主题标签: #多轮智能体 #知识蒸馏 #状态匹配 #SMRC-SD

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…