ArXiv提出SPT框架:利用技能预训练提升智能体语言模型性能
摘要:ArXiv团队提出了一种名为Skill Pre-Training (SPT) 的新方法,通过对公共多文件技能包集合SkillCorpus应用因果语言建模来提升智能体语言模型的性能。SPT利用技能包中编码的可重用工具语义和工作流,结合Reference Insert策略保留文件间关系,显著改善了智能体在复杂任务中的表现,同时保持了通用性能。实验表明,技能数据与通用数据的混合使用可进一步提升模型性能,证明了技能包作为预训练数据源的价值。
核心突破
- Skill Pre-Training (SPT) 方法:通过将因果语言建模应用于SkillCorpus(公共多文件技能包集合),SPT利用技能包中编码的可重用工具语义和工作流,为智能体语言模型提供更丰富的训练数据。
- Reference Insert 策略:该策略通过在主要指令附近放置支持文件,保留了技能包内文件间的关系,从而提升了模型对复杂任务的理解能力。
- 混合数据实验:实验表明,将技能数据与通用数据混合使用可以进一步提升模型性能,展示了技能包作为预训练数据源的潜力。
技术亮点
- 数据效率提升:SPT通过利用公共技能包,减少了对昂贵的行为监督数据(如工具调用轨迹和智能体轨迹)的依赖。
- 模型性能改善:在多个模型规模和后训练配方上的实验表明,SPT在智能体任务中表现优异,同时保持了通用性能。
- 可扩展性:该方法适用于不同类型的智能体语言模型,并可与现有的预训练和微调策略结合使用。
行业影响
- 智能体应用扩展:SPT为智能体在复杂任务中的表现提供了新的提升路径,推动了智能体在自动化、机器人技术和人机交互等领域的应用。
- 数据利用效率:通过利用公共技能包,SPT降低了训练成本,提高了数据利用效率,为资源受限的研究团队提供了新的解决方案。
- 未来研究方向:该研究为探索更多类型的预训练数据源(如多模态技能包)提供了基础,并可能推动智能体语言模型的进一步发展。
开发者建议
- 尝试混合数据训练:开发者可以尝试将技能数据与通用数据结合使用,以提升模型在特定任务中的表现。
- 关注技能包质量:选择高质量的技能包对于模型性能至关重要,开发者应关注技能包的来源和标注质量。
- 结合现有工具:SPT可以与现有的预训练和微调工具结合使用,开发者应探索如何将SPT集成到现有的工作流程中。
—— 完 ——消息来源:ArXiv cs.CL (2026-08-27)
主题标签: #智能体 #预训练 #技能包 #语言模型 #ArXiv
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区