Hugging Face发布Video-Point Model：多视角视频与3D轨迹联合预测模型

摘要：Hugging Face推出Video-Point Model (VPM)，这是一款能够基于多视角视频历史和语言指令联合预测未来视频帧及场景中物理点3D轨迹的世界模型。VPM通过跨视角的多模态处理和轨迹预测头，将不同视角的观测结果整合为统一的3D运动描述，提升了视频生成和3D运动预测的准确性。此外，VPM还扩展至机器人控制领域，通过将机器人动作作为生成器的token模态，实现了3D感知驱动的策略执行。实验表明，VPM在VP-WorldBench和现有4D生成基准测试中均表现出色，显著提升了视频保真度和3D运动精度。

---

技术机制剖析

Video-Point Model (VPM) 的核心突破在于其多视角视频处理与3D轨迹预测的联合建模能力。以下是VPM的关键技术机制：

1. 多视角视频处理：VPM扩展了预训练的世界模型，通过相机条件的多视角处理模块，将不同视角的视频观测结果整合为统一的3D运动描述。这种方法不仅提升了视频生成的保真度，还确保了不同视角之间的时空一致性。

2. 轨迹预测头：VPM引入了轨迹预测头，用于预测场景中物理点的运动轨迹。每个轨迹跟踪单个点在所有视角中的运动轨迹，通过与视频生成过程并行监督，将不同视角的外观变化锚定到共享的3D运动描述中。

3. 3D感知驱动的策略执行：VPM进一步扩展至机器人控制领域，将机器人动作作为生成器的token模态。通过与未来视频联合去噪，VPM将策略执行与3D感知紧密结合，实现了3D感知驱动的策略执行。

工程权衡与实测表现

• 优势：VPM在视频生成和3D运动预测方面表现出色，特别是在多视角视频处理和3D轨迹预测的联合建模上具有显著优势。其跨视角的多模态处理能力使得视频生成更加逼真，3D运动预测更加准确。

• 挑战：多视角视频处理和3D轨迹预测的计算复杂度较高，对硬件资源的需求较高。此外，VPM的训练数据需求较大，需要大量的多视角视频和3D轨迹数据来训练模型。

• 实测表现：在VP-WorldBench和现有4D生成基准测试中，VPM在视频保真度和3D运动精度方面均显著优于视频-only的基线模型。在模拟和真实机器人实验中，VPM还提升了动作启用模型的操控成功率。

开发者落地与部署建议

1. 硬件需求：由于VPM的计算复杂度较高，建议在配备高性能GPU的硬件平台上部署，例如NVIDIA RTX 4090或更高型号的GPU。

2. 数据准备：开发者需要准备大量的多视角视频和3D轨迹数据来训练和微调VPM模型。可以使用VPM-Data模拟数据集进行初步训练，然后使用真实数据进行微调。

3. 模型优化：为了提升推理效率，开发者可以考虑使用模型量化、剪枝等技术来优化VPM模型的推理性能。此外，可以结合VPM的3D感知能力，开发基于3D感知的应用，例如机器人控制、虚拟现实等。

4. 跨领域应用：VPM的3D感知能力使其在机器人控制、虚拟现实、增强现实等领域具有广泛的应用潜力。开发者可以结合具体应用场景，探索VPM在不同领域的落地方式。

---

消息来源：Hugging Face Daily Papers (2026-10-20)

—— 完 ——

主题标签： #Hugging Face 关注 #多视角视频 关注 #3D轨迹预测 关注 #VPM 关注 #机器人控制 关注