Hugging Face发布WOVEN：革新多模态大模型视觉世界建模训练

摘要：Hugging Face推出WOVEN，这是一个用于多模态大语言模型（MLLMs）视觉过渡推理训练的数据集和基准测试平台。WOVEN通过组织场景、动作和推理类型的过渡监督数据，解决了现有模型在空间、物理、时间推理上的系统性缺陷。实验表明，WOVEN训练的数据子集可显著提升26个外部基准测试中的22个，最高提升27.3个百分点，并可替代任务训练数据中的30-50%，展示了其在视觉世界建模中的巨大潜力。

---

1. 背景与动机

多模态大语言模型（MLLMs）在处理空间、物理和时间推理任务时面临显著挑战。这些问题通常源于视觉过渡推理能力的不足，即模型难以理解和预测视觉状态之间的变化。为了解决这一问题，Hugging Face推出了WOVEN，一个用于视觉过渡推理训练的数据集和基准测试平台。

2. WOVEN的核心机制

WOVEN通过以下方式组织数据：

• 场景类型：涵盖20种不同的场景，如城市、森林、室内等。
• 动作类型：包括5种基本动作，如移动、旋转、缩放等。
• 推理类型：涉及8种推理操作，如因果推理、预测未来状态等。

WOVEN利用视频预训练的生成模型生成多样化的真实场景过渡数据，共包含36,076个样本。

3. 实验与结果

研究团队评估了38个前沿MLLMs（如GPT-5.4和Qwen3-VL-235B-A22B），发现即使是最强的模型在视觉过渡推理任务上也远低于人类水平，且这种缺陷在不同模型家族中普遍存在。

在WOVEN上训练的MLLMs表现出显著的改进：

• 仅使用约2000个数据子集进行训练，26个外部基准测试中的22个得到了提升，最高提升27.3个百分点。
• WOVEN数据可以替代任务训练数据中的30-50%，且不影响模型性能。

4. 训练建议与未来方向

研究团队提出了以下训练建议：

• 选择推理操作而非场景或动作：优先选择能够教授特定推理操作的监督数据，而非仅仅关注场景或动作的多样性。
• 偏好视觉状态的大变化：为了增强模型的鲁棒性，应优先选择视觉状态变化较大的数据。

5. 技术价值与影响

WOVEN的发布为多模态大语言模型的视觉世界建模训练提供了一种系统化的方法。其数据集和训练建议不仅提升了模型在复杂推理任务中的表现，还为未来的研究提供了新的方向。WOVEN的广泛应用有望推动多模态AI在机器人、自动驾驶、智能家居等领域的进一步发展。

---

消息来源：Hugging Face Daily Papers (2026-10-08)

—— 完 ——

主题标签： #Hugging Face 关注 #多模态模型 关注 #视觉推理 关注 #WOVEN 关注 #MLLMs 关注