Hugging Face发布HappyWorld-Bench：多模态世界模型评估新基准

摘要：Hugging Face推出HappyWorld-Bench，这是一套用于评估生成世界模型可靠性的综合基准。该基准基于六种世界能力（W1-W6）的分层框架，分为视频世界模型、空间世界模型和具身世界模型三个独立评估赛道，包含1138个视频提示、300个空间场景和254个具身测试案例。通过构建HappyWorld-Arena进行人机对比实验，并结合新设计的自动化指标，HappyWorld-Bench揭示了当前模型在状态一致性、行为正确性以及交互响应方面的不足，为未来世界模型的发展提供了重要参考。

---

背景与动机

随着生成模型和世界模型技术的快速发展，如何系统评估这些模型生成世界的质量及其在交互中的表现成为AI领域的重要课题。现有的评估方法往往侧重于视觉质量，而忽略了模型在状态一致性、行为正确性以及交互响应方面的表现。

HappyWorld-Bench的创新点

1. 分层能力框架：基于六种世界能力（W1-W6），从生成构建到统一世界建模，全面覆盖不同维度的评估需求。
2. 多模态评估赛道：分为视频世界模型、空间世界模型和具身世界模型三个独立赛道，涵盖不同类型的应用场景。
3. 大规模测试案例：包含1138个视频提示、300个空间场景和254个具身测试案例，确保评估的广泛性和代表性。
4. 人机对比与自动化指标结合：通过HappyWorld-Arena进行人机对比实验，并结合新设计的自动化指标，提供了更全面的评估体系。

主要发现

1. 视频模型：在长时间回溯和重访场景中，视频模型的连贯性有所下降。
2. 空间模型：在空间布局的准确性和编辑执行方面，空间模型的最高准确率仅为70.14%，编辑执行率为73.33%。
3. 具身模型：在多步骤动作中保持状态一致性和对物理规则变化的精确响应方面，具身模型表现不佳。

行业影响

HappyWorld-Bench的发布为世界模型的评估提供了新的标准，填补了现有评估体系的不足。其发现表明，当前模型在处理复杂交互和状态一致性方面仍有较大提升空间，激励研究人员和开发者进一步优化模型性能。

对开发者的建议

1. 关注状态一致性：在模型训练和评估中，应更加重视状态一致性和行为正确性。
2. 多模态融合：加强不同模态之间的融合，提升模型在复杂场景中的表现。
3. 强化交互能力：通过模拟真实世界的交互场景，提升模型的响应能力和鲁棒性。

结论

HappyWorld-Bench的推出标志着世界模型评估进入了一个新的阶段，为AI社区提供了一个更全面、更可靠的评估工具，推动了世界模型技术的进一步发展。

---

消息来源：Hugging Face Daily Papers (2026-09-21)

—— 完 ——

主题标签： #Hugging Face 关注 #世界模型 关注 #多模态评估 关注 #AI基准测试 关注