智客 ZICQ
EN 登录 / 注册
智客前沿 前沿论文 #大语言模型 #泛化能力 #代码生成 #OpenWorld #LLM训练

arXiv发布新研究:基于代码生成的世界模型提升大语言模型泛化能力

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 11 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:arXiv发布了一项关于提升大语言模型(LLM)泛化能力的新研究,提出了一种名为“世界时间计算”(World-Time Compute)的新方法。该方法通过将领域动态编写为可执行、可验证的代码程序,生成大量精确标注的轨迹数据,用于微调LLM,从而在未见过的合成世界(synthesized world families)上实现泛化能力的提升。研究表明,该方法在模型参数量较小的情况下效果尤为显著,例如在0.5B参数模型上提升了29个百分点,而对于更大规模的模型,提升幅度逐渐趋于饱和。此外,该方法通过验证代码确保了标签的准确性,避免了传统数据增强方法中的误差累积问题。


研究背景与动机

大语言模型(LLM)在处理特定领域任务时,通常需要大量真实且标注准确的数据进行训练。然而,许多领域缺乏这样的数据,导致模型泛化能力受限。为了解决这一问题,研究人员提出了一种基于代码生成的世界模型方法,通过生成大量精确标注的轨迹数据来提升LLM的泛化能力。

方法概述

  1. 世界模型生成:将领域动态编写为可执行、可验证的代码程序,每个程序实例化为一个世界模型。这些世界模型是符号状态的执行程序,能够生成无限多的精确标注轨迹。
  2. 世界时间计算(World-Time Compute):通过在多个世界模型生成的轨迹上进行微调,LLM能够在训练时模拟测试时的计算过程,从而提升对未见过的合成世界的泛化能力。
  3. 验证与控制实验:研究通过验证代码确保标签的准确性,并进行了一系列控制实验,包括使用伪造标签的对照组,结果表明标签的准确性而非任务多样性是提升泛化的关键。

主要发现

  • 泛化能力提升:在ARC-AGI grids、List Functions和CLRS等真实基准测试中,该方法表现出色,尤其是在跨世界任务中表现更为显著。例如,在List Functions任务中,使用128个独立世界训练的适配器在未见过的世界上的准确率达到了40%,而对照组仅为6%。
  • 模型规模与性能关系:提升效果在较小规模的模型上最为明显,例如在0.5B参数模型上提升了29个百分点,而对于更大规模的模型,提升幅度逐渐趋于饱和。
  • 标签准确性:验证代码确保了标签的准确性,避免了传统数据增强方法中的误差累积问题。

行业影响与开发者建议

  • 对AI研究的影响:该研究为提升LLM的泛化能力提供了一种新的思路,特别是在数据稀缺领域具有重要意义。
  • 对开发者的建议:开发者可以利用OpenWorld框架生成世界模型,并结合该方法进行模型训练,以提升模型在特定领域的泛化能力。
  • 未来研究方向:进一步探索该方法在不同领域和更大规模模型上的应用,以及如何结合其他技术(如多模态学习)提升模型性能。

消息来源:ArXiv Machine Learning (cs.LG) (2026-09-10)

—— 完 ——

主题标签: #大语言模型 #泛化能力 #代码生成 #OpenWorld #LLM训练

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…