AutoMaster用技能引导重塑教师轨迹,自动提升模型后训练表现
摘要:AutoMaster提出Skill-FT,把“教师任务是否成功”改写为“教师轨迹应强化哪些行为”。系统由LLM智能体分析轨迹、设计自然语言技能、筛选数据,并依据教师rollout与目标模型评测持续迭代,在教师轨迹中抑制无依据假设、重复操作和浅层验证,再以改进轨迹执行SFT。论文在Terminal、Search和软件工程的4B、9B目标模型六个设置中,相对使用成功但无引导教师轨迹的Vanilla SFT,平均提升1.42—8.89个百分点;训练时保留技能、推理时移除技能仍在六组中均更优。结果显示,技能上下文可能通过改变条件概率与梯度促进行为内化,但绝对成绩、方差、成本及代码仍待核验。
AutoMaster将后训练的优化对象前移到教师数据生成阶段:不再把“rollout成功”直接等同于“值得模仿”,而是先审查成功轨迹中的行为质量。其核心方法Skill-FT分为教师轨迹塑形和目标模型SFT两层,并由LLM智能体负责发现干预措施、选择数据并根据评测结果继续迭代。 ## 核心机制:用技能改变教师数据分布 在普通SFT中,目标序列为 `y`,输入为任务 `x`,训练目标可写为: `L_vanilla = -Σ_t log pθ(y_t | x, y_ **消息来源**:[Hugging Face Daily Papers](https://huggingface.co/papers/2611.26510) (2026-11-19) —— 完 ——
主题标签: #AutoMaster #Skill-FT #自主后训练 #轨迹行为整形 #监督微调
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区