arXiv研究：预训练扩展对虚拟智能体在多样化虚拟世界中的泛化能力影响

摘要：arXiv发布了一项关于虚拟智能体预训练扩展的研究，探讨了数据量、数据多样性和模型规模对智能体在多样化虚拟世界中表现的影响。研究发现，增加数据量能提升智能体在训练数据集中的性能，数据多样性有助于向相关虚拟世界迁移，但泛化到远距离世界的能力有限；模型规模提升数据效率，但在单世界训练下对远距离世界的泛化能力较差。研究还提出了一个经验性扩展定律，描述了验证损失与数据量、多样性和模型规模之间的关系，为构建通用型虚拟智能体提供了新的思路。

---

研究背景与动机

近年来，预训练技术在物理环境中的智能体学习方面取得了显著进展。然而，虚拟世界由于其视觉风格、动力学、控制方式和目标的多样性，其对智能体泛化能力的影响尚不明确。本研究旨在通过控制变量法，探讨数据量、数据多样性和模型规模对智能体在多样化虚拟世界中表现的影响。

研究方法

研究团队设计了120种训练配置，涵盖四种模型规模（从0.8B到27B参数）、六种数据预算（从50到1600小时）以及五种数据混合方式（从仅Minecraft数据到多样化的多世界语料库）。通过三级验证损失和游戏玩法基准测试，评估智能体在语料库内世界和未见世界中的表现和泛化能力。

主要发现

1. 数据量与多样性：

   • 数据量增加能提升智能体在语料库内世界的性能。
   • 数据多样性有助于向相关虚拟世界迁移，但在远距离世界中的泛化收益有限。

2. 模型规模：

   • 更大的模型提高了数据效率，但在单世界训练下对远距离世界的泛化能力较差。

3. 扩展定律：

   • 研究发现了一个经验性扩展定律，描述了验证损失与数据量、多样性和模型规模之间的关系。

4. 性能表现：

   • 在实时设置中，智能体表现优异，但在模仿学习和远距离世界的持久性差距方面仍存在挑战。

工程权衡与实际应用

• 数据效率 vs 泛化能力： 虽然更大的模型和数据量能提升数据效率，但单世界训练下的泛化能力仍然有限。这表明，在构建通用型虚拟智能体时，需要在数据多样性和模型规模之间找到平衡。

• 训练阶段的多样性： 研究表明，智能体需要更丰富的训练阶段来提升对远距离世界的泛化能力。这可能需要引入多阶段训练策略或跨领域迁移学习方法。

• 实时性能 vs 长期稳定性： 尽管智能体在实时设置中表现良好，但在长期任务中的稳定性仍需进一步提升。这可能需要结合强化学习或模仿学习技术来增强智能体的适应能力。

开发者建议

1. 多阶段训练策略： 建议采用多阶段训练策略，先在多样化数据上进行预训练，再针对特定任务进行微调，以提升智能体的泛化能力。

2. 跨领域迁移学习： 在多样化虚拟世界中，跨领域迁移学习技术可以有效提升智能体的适应能力。

3. 资源优化： 对于资源受限的应用场景，可以考虑使用模型压缩技术或知识蒸馏方法，在保证性能的同时降低计算成本。

结论

本研究为构建通用型虚拟智能体提供了新的见解，强调了数据多样性和模型规模在提升智能体泛化能力方面的重要性。尽管当前方法在实时设置中表现良好，但构建真正通用的智能体仍需更丰富的训练阶段和更先进的技术手段。

---

消息来源：ArXiv AI (cs.AI) (2026-10-22)

—— 完 ——

主题标签： #arXiv 关注 #虚拟智能体 关注 #预训练 关注 #扩展定律 关注 #泛化能力 关注