智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #后训练 #脚手架 #技能蒸馏 #协同进化

新范式:脚手架介导的后训练,让模型参数与推理程序图协同进化

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 7 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv最新研究提出脚手架介导的后训练(Scaffold-Mediated Post-Training)范式,将推理时的程序化脚手架组织为可进化的图结构,与模型参数通过发现、蒸馏和动态重编译协同进化。该范式实例化为技能训练(Skill Training),在FeatureBench基准上,自动发现的技能使通过率提升8.1个百分点,渐进蒸馏后模型在无外部脚手架下仍达27.7%的通过率,蒸馏保留率85.2%,显著优于标准SFT。该研究为自动获取和内化复杂策略提供了新路径。


研究背景

传统的大语言模型后训练仅优化模型参数,而推理时的程序化脚手架(如提示模板、工具调用流程)通常独立于参数训练设计。这种脱节使得模型难以自动获取和内化复杂策略,限制了其在复杂任务上的表现。

核心方法

该研究提出脚手架介导的后训练(Scaffold-Mediated Post-Training)范式,核心思想是将程序化脚手架组织为可进化的图结构,与模型参数通过三个关键机制协同进化:

  • 发现(Discovery):自动搜索和生成新的脚手架技能。
  • 蒸馏(Distillation):将脚手架辅助的性能蒸馏回模型参数,减少对外部脚手架的依赖。
  • 动态重编译(Dynamic Recompilation):根据模型当前能力动态调整脚手架图结构。

该范式被实例化为技能训练(Skill Training),通过上述机制实现模型与脚手架的协同优化。

实验结果

在FeatureBench基准上,实验表明:

  • 自动发现的技能使通过率提升8.1个百分点。
  • 渐进蒸馏后,模型在无外部脚手架的情况下仍达到**27.7%**的通过率。
  • 蒸馏保留率(定义为蒸馏后/有技能时的通过率)为85.2%。
  • 显著优于在相同数据上进行的标准SFT。

技术亮点与意义

  • 协同进化:首次将脚手架结构与参数训练统一,实现策略的自动获取与内化。
  • 高保留率:蒸馏保留率85.2%表明模型能有效内化脚手架技能,减少推理时对外部工具的依赖。
  • 通用性:该范式可应用于多种任务,为复杂策略学习提供了新思路。

行业影响与开发者建议

  • 对开发者而言,该范式可能减少对复杂提示工程和外部工具的依赖,提升模型自主性。
  • 未来可探索将技能训练应用于更多领域,如代码生成、多步推理等。
  • 该研究为后训练技术提供了新的研究方向,有望推动大模型在复杂任务上的能力边界。

原始论文:arXiv:2608.05156 [cs.CL]


消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-07)

—— 完 ——

主题标签: #后训练 #脚手架 #技能蒸馏 #协同进化

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…