Hugging Face发布虚拟智能体训练研究：扩展预训练提升跨虚拟世界泛化能力

摘要：Hugging Face发布了一项关于虚拟智能体训练的研究，通过扩展预训练（CPT）探索数据量、数据多样性和模型规模对智能体在多样化虚拟世界中表现的影响。研究发现，增加数据量能提升在训练数据集中的性能，数据多样性有助于向相关虚拟世界迁移，但泛化到远距离世界的能力有限；模型规模提升数据效率，但单世界训练下对远距离世界的泛化能力较差。此外，研究还提出了一个经验性扩展定律，描述验证损失与数据量、多样性和模型规模之间的关系。研究结果表明，尽管当前方法在实时设置中表现优异，但构建通用型虚拟智能体仍需更丰富的训练阶段。

---

研究背景与动机

在物理环境中，智能体通过扩展预训练（CPT）已经取得了显著进展，这些进展得益于多样化的经验以及共享的物理规律。然而，虚拟世界由于其视觉风格、动力学、控制方式和目标的多样性，为智能体训练带来了新的挑战。本研究旨在探讨扩展预训练（CPT）在多样化虚拟世界中的应用效果。

研究方法

研究设计了120种训练配置，涵盖四种模型规模（0.8B至27B参数）、六种数据预算（50至1600小时）以及五种数据混合方式（从仅限Minecraft数据到多样化的多世界语料库）。通过三层次验证损失和游戏玩法基准测试，评估智能体在语料库内世界和未见世界中的表现。

主要发现

1. 数据量与多样性：增加数据量能提升在训练数据集中的性能，数据多样性有助于向相关虚拟世界迁移，但在远距离世界的泛化能力有限。
2. 模型规模：更大的模型提高了数据效率，但在单世界训练下对远距离世界的泛化能力较差。
3. 训练阶段：观察到早期阶段广泛的跨世界收益，以及后期阶段收益局限于语料库内和相关世界。
4. 经验性扩展定律：研究拟合了一个经验性扩展定律，描述验证损失与数据量、多样性和模型规模之间的关系。
5. 性能表现：在3D世界中，模型与Minecraft专家和前沿模型竞争，并在实时设置中表现最佳。

工程权衡与挑战

尽管扩展预训练在提升智能体性能方面取得了进展，但研究也揭示了其在泛化能力上的局限性，特别是在远距离世界中。这表明，仅依靠扩展预训练可能不足以构建真正的通用型虚拟智能体，未来需要更复杂的训练阶段，例如多任务学习、跨领域迁移和强化学习等。此外，训练大规模模型和多样化数据的高计算成本也是需要考虑的因素。

开发者建议

对于开发者而言，本研究强调了数据多样性和模型规模在虚拟智能体训练中的重要性。建议在设计智能体训练方案时，综合考虑数据的多样性、模型的规模以及训练阶段的复杂性。同时，应关注实时性能与泛化能力之间的平衡，以满足不同应用场景的需求。

---

消息来源：Hugging Face Daily Papers (2026-10-20)

—— 完 ——

主题标签： #Hugging Face 关注 #虚拟智能体 关注 #预训练 关注 #扩展学习 关注 #多世界泛化 关注