Hugging Face发布WATCH模型：革新跨视频预训练，显著提升机器人任务泛化能力

摘要：Hugging Face推出WATCH模型，通过跨视频预训练方法，从任务配对的人类视频中学习可迁移的世界-动作表示。WATCH利用一个视频的动作和观察结果预测另一个视频的未来帧和动作，从而学习跨场景和执行者的任务相关交互。实验表明，WATCH在机器人后训练阶段显著提升了MimicDroid的成功率，尤其在未见过的任务中表现优异。该模型展示了跨视频预测作为学习可迁移世界-动作表示的有效途径，为机器人智能体在复杂任务中的泛化能力提供了新的突破。

---

1. 技术背景与挑战

在机器人与智能体领域，如何让模型从人类视频中学习可迁移的交互模式是一个关键挑战。传统方法依赖于视频内的帧预测，容易依赖视觉外观的共性，而非跨场景和执行者的通用交互模式。

2. WATCH模型的核心机制

WATCH通过跨视频预训练方法解决了这一问题。其核心机制包括：

• 跨视频预测任务：模型基于一个视频的动作和观察结果，预测另一个视频的未来帧和动作。这种方法鼓励模型学习跨场景和执行者的任务相关交互。
• 任务配对视频数据：利用任务配对的人类视频数据，WATCH能够从多样化的环境中学习广泛适用的视觉和物理先验。

3. 实验结果与性能提升

在机器人后训练阶段，WATCH展示了显著的性能提升：

• MimicDroid的成功率：在Cosmos Policy下，从40.9%提升至68.3%；在Cosmos3下，从59.8%提升至77.7%。
• 未见任务的表现：在未见过的任务中，WATCH的表现提升尤为明显，展示了其在复杂任务中的泛化能力。

4. 工程权衡与实际应用

WATCH的优势在于其跨视频预测机制，这使得它能够从更广泛的数据中学习可迁移的表示。然而，这也带来了更高的计算成本，尤其是在处理大规模视频数据时。开发者需要权衡训练时间和模型性能之间的关系。

5. 开发者建议

• 数据准备：确保提供高质量的任务配对视频数据，以充分发挥WATCH的潜力。
• 计算资源：由于跨视频预测的计算开销较大，建议使用高性能GPU进行训练。
• 模型微调：在特定任务上进行微调，可以进一步提升模型在特定场景下的表现。

6. 未来展望

WATCH展示了跨视频预训练在机器人任务中的巨大潜力。未来研究方向包括：

• 多模态融合：结合其他传感器数据（如触觉、力反馈）以提升模型的感知能力。
• 更复杂的任务场景：扩展到更复杂的任务场景，如多智能体协作和动态环境交互。

结论

WATCH模型通过跨视频预训练方法，为机器人智能体在复杂任务中的泛化能力提供了新的突破。其在机器人后训练阶段的表现提升，展示了其在实际应用中的巨大潜力。

---

消息来源：Hugging Face Daily Papers (2026-10-09)

—— 完 ——

主题标签： #Hugging Face 关注 #WATCH 关注 #跨视频预训练 关注 #机器人智能体 关注 #迁移学习 关注