智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #大语言模型 #后训练 #过程性支架 #模型协同进化 #AI推理

Scaffold-Mediated Post-Training:模型参数与过程图协同进化的新范式

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 5 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:本文提出了一种名为Scaffold-Mediated Post-Training的新方法,通过将过程性支架(procedural scaffolds)组织成可进化的图结构,使其能够与模型参数协同进化。该方法通过发现、蒸馏和动态重编译等机制,在FeatureBench基准测试中,自动发现的技能将通过率提高了8.1个百分点,并且在无外部支架的情况下,模型仍能达到27.7%的通过率,蒸馏保留率达到85.2%,显著优于传统的微调方法(SFT)。这项研究为复杂策略的自动获取和内化提供了新的思路,有望提升大语言模型的推理能力和泛化性能。


研究背景与动机

大语言模型(LLM)的后训练过程通常只优化参数,而推理时的过程性支架(procedural scaffolds)则独立于参数训练进行设计。这种分离导致模型难以自动获取和内化复杂策略,从而限制了其在复杂任务中的表现。

方法与创新

本文提出了一种名为Scaffold-Mediated Post-Training的新方法,通过将过程性支架组织成可进化的图结构,使其能够与模型参数协同进化。该方法包括以下关键步骤:

  • 发现(Discovery):自动识别和提取有用的技能。
  • 蒸馏(Distillation):将复杂的技能转化为更高效的形式。
  • 动态重编译(Dynamic Recompilation):根据模型状态动态调整支架结构。

实验结果

在FeatureBench基准测试中,该方法表现出色:

  • 自动发现的技能将通过率提高了8.1个百分点。
  • 在无外部支架的情况下,模型仍能达到27.7%的通过率,蒸馏保留率达到85.2%。

相比之下,传统的微调方法(SFT)在相同数据上的表现明显逊色。

技术亮点

  • 协同进化机制:首次将过程性支架与模型参数协同进化,提升了复杂策略的获取效率。
  • 动态重编译:根据模型状态动态调整支架结构,增强了模型的适应性和鲁棒性。
  • 性能提升显著:在多个指标上均优于传统方法,展示了该方法在提升模型推理能力和泛化性能方面的巨大潜力。

行业影响与开发者建议

  • 对AI研究的影响:该方法为复杂策略的自动获取和内化提供了新的思路,有望推动大语言模型在推理和泛化能力上的进一步提升。
  • 对开发者的建议:开发者可以尝试将类似的方法应用于自己的模型训练流程中,以提升模型在复杂任务中的表现。同时,关注该领域的最新进展,及时引入新的技术和方法。

结论

Scaffold-Mediated Post-Training为大语言模型的后训练过程提供了一种全新的范式,通过协同进化机制和动态重编译,显著提升了模型的推理能力和泛化性能。这一研究为AI领域的技术创新和实际应用开辟了新的方向。


消息来源:ArXiv NLP/LLM (cs.CL) (2026-08-07)

—— 完 ——

主题标签: #大语言模型 #后训练 #过程性支架 #模型协同进化 #AI推理

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…