新范式:脚手架介导的后训练,让模型参数与推理程序图协同进化
摘要:arXiv最新研究提出脚手架介导的后训练(Scaffold-Mediated Post-Training)范式,将推理时的程序化脚手架组织为可进化的图结构,与模型参数通过发现、蒸馏和动态重编译协同进化。该范式实例化为技能训练(Skill Training),在FeatureBench基准上,自动发现的技能使通过率提升8.1个百分点,渐进蒸馏后模型在无外部脚手架下仍达27.7%的通过率,蒸馏保留率85.2%,显著优于标准SFT。该研究为自动获取和内化复杂策略提供了新路径。
研究背景
传统的大语言模型后训练仅优化模型参数,而推理时的程序化脚手架(如提示模板、工具调用流程)通常独立于参数训练设计。这种脱节使得模型难以自动获取和内化复杂策略,限制了其在复杂任务上的表现。
核心方法
该研究提出脚手架介导的后训练(Scaffold-Mediated Post-Training)范式,核心思想是将程序化脚手架组织为可进化的图结构,与模型参数通过三个关键机制协同进化:
- 发现(Discovery):自动搜索和生成新的脚手架技能。
- 蒸馏(Distillation):将脚手架辅助的性能蒸馏回模型参数,减少对外部脚手架的依赖。
- 动态重编译(Dynamic Recompilation):根据模型当前能力动态调整脚手架图结构。
该范式被实例化为技能训练(Skill Training),通过上述机制实现模型与脚手架的协同优化。
实验结果
在FeatureBench基准上,实验表明:
- 自动发现的技能使通过率提升8.1个百分点。
- 渐进蒸馏后,模型在无外部脚手架的情况下仍达到**27.7%**的通过率。
- 蒸馏保留率(定义为蒸馏后/有技能时的通过率)为85.2%。
- 显著优于在相同数据上进行的标准SFT。
技术亮点与意义
- 协同进化:首次将脚手架结构与参数训练统一,实现策略的自动获取与内化。
- 高保留率:蒸馏保留率85.2%表明模型能有效内化脚手架技能,减少推理时对外部工具的依赖。
- 通用性:该范式可应用于多种任务,为复杂策略学习提供了新思路。
行业影响与开发者建议
- 对开发者而言,该范式可能减少对复杂提示工程和外部工具的依赖,提升模型自主性。
- 未来可探索将技能训练应用于更多领域,如代码生成、多步推理等。
- 该研究为后训练技术提供了新的研究方向,有望推动大模型在复杂任务上的能力边界。
原始论文:arXiv:2608.05156 [cs.CL]
—— 完 ——消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-07)
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区