WorldFlow发布：联合视频与3D运动预测模型实现物理常识推理突破

摘要：WorldFlow是一种新型生成式世界模型，通过联合预测未来视频和基于查询的3D轨迹，实现了物理动态的显式建模。其核心机制是使用统一的Mixture-of-Transformers (MoT) 架构，在视频网格上对齐3D运动，并结合校正流目标进行联合去噪训练。实验表明，WorldFlow在多个基准测试中表现优异，尤其是在处理复杂空间推理任务时，其平均位移误差（ADE）和最终位移误差（FDE）均显著低于现有方法。

---

技术机制剖析

WorldFlow通过以下核心机制实现了对视频和3D运动轨迹的联合预测：

1. 参数化3D运动：将3D运动表示为与视频网格对齐的连续位移token，从而实现对物理动态的显式建模。
2. 统一的Mixture-of-Transformers (MoT) 架构：该架构能够同时处理视频和3D运动数据，并在统一的框架下进行联合去噪。
3. 校正流目标：通过校正流目标，WorldFlow能够有效地结合几何动态和视觉演化，从而解锁预训练视频模型中嵌入的物理常识。

工程权衡与实测表现

• 训练数据：WorldFlow在1.44百万个对象级样本上进行训练，这些样本涵盖了模拟和现实世界领域，确保了模型对不同场景的泛化能力。
• 基准测试：在WorldFlowBench基准测试中，WorldFlow在平均位移误差（ADE）和最终位移误差（FDE）方面均优于现有方法。尤其在SpatialCog测试集上，其ADE达到了0.060米，比最强基线方法降低了54.2%。
• 性能提升：与仅使用流监督的变体相比，WorldFlow在ADE和FDE上分别降低了55.9%和68.5%，展示了其在物理动态建模方面的显著优势。

开发者落地与部署建议

• 应用场景：WorldFlow适用于需要联合预测视频和3D运动轨迹的场景，如机器人导航、虚拟现实和增强现实等。
• 部署建议：由于WorldFlow的复杂性，建议在具有强大计算资源的平台上进行部署。此外，开发者可以利用预训练模型进行微调，以适应特定的应用需求。
• 未来方向：未来可以进一步优化模型的推理速度，并探索其在更大规模数据集上的表现。

结论

WorldFlow通过联合预测视频和3D运动轨迹，展示了其在物理常识推理方面的强大能力。其在多个基准测试中的优异表现，证明了该模型在处理复杂空间推理任务中的潜力。

---

消息来源：Hugging Face Daily Papers (2026-10-29)

—— 完 ——

主题标签： #WorldFlow 关注 #3D运动预测 关注 #视频预测 关注 #Mixture-of-Transformers 关注 #物理常识推理 关注