arXiv发布新研究:基于代码生成的世界模型提升大语言模型泛化能力
摘要:arXiv发布了一项关于提升大语言模型(LLM)泛化能力的新研究,提出了一种名为“世界时间计算”(World-Time Compute)的新方法。该方法通过将领域动态编写为可执行、可验证的代码程序,生成大量精确标注的轨迹数据,用于微调LLM,从而在未见过的合成世界(synthesized world families)上实现泛化能力的提升。研究表明,该方法在模型参数量较小的情况下效果尤为显著,例如在0.5B参数模型上提升了29个百分点,而对于更大规模的模型,提升幅度逐渐趋于饱和。此外,该方法通过验证代码确保了标签的准确性,避免了传统数据增强方法中的误差累积问题。
研究背景与动机
大语言模型(LLM)在处理特定领域任务时,通常需要大量真实且标注准确的数据进行训练。然而,许多领域缺乏这样的数据,导致模型泛化能力受限。为了解决这一问题,研究人员提出了一种基于代码生成的世界模型方法,通过生成大量精确标注的轨迹数据来提升LLM的泛化能力。
方法概述
- 世界模型生成:将领域动态编写为可执行、可验证的代码程序,每个程序实例化为一个世界模型。这些世界模型是符号状态的执行程序,能够生成无限多的精确标注轨迹。
- 世界时间计算(World-Time Compute):通过在多个世界模型生成的轨迹上进行微调,LLM能够在训练时模拟测试时的计算过程,从而提升对未见过的合成世界的泛化能力。
- 验证与控制实验:研究通过验证代码确保标签的准确性,并进行了一系列控制实验,包括使用伪造标签的对照组,结果表明标签的准确性而非任务多样性是提升泛化的关键。
主要发现
- 泛化能力提升:在ARC-AGI grids、List Functions和CLRS等真实基准测试中,该方法表现出色,尤其是在跨世界任务中表现更为显著。例如,在List Functions任务中,使用128个独立世界训练的适配器在未见过的世界上的准确率达到了40%,而对照组仅为6%。
- 模型规模与性能关系:提升效果在较小规模的模型上最为明显,例如在0.5B参数模型上提升了29个百分点,而对于更大规模的模型,提升幅度逐渐趋于饱和。
- 标签准确性:验证代码确保了标签的准确性,避免了传统数据增强方法中的误差累积问题。
行业影响与开发者建议
- 对AI研究的影响:该研究为提升LLM的泛化能力提供了一种新的思路,特别是在数据稀缺领域具有重要意义。
- 对开发者的建议:开发者可以利用OpenWorld框架生成世界模型,并结合该方法进行模型训练,以提升模型在特定领域的泛化能力。
- 未来研究方向:进一步探索该方法在不同领域和更大规模模型上的应用,以及如何结合其他技术(如多模态学习)提升模型性能。
—— 完 ——消息来源:ArXiv Machine Learning (cs.LG) (2026-09-10)
主题标签: #大语言模型 #泛化能力 #代码生成 #OpenWorld #LLM训练
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区