Hugging Face发布RoboJudge：革新多模态大语言模型在具身视频生成中的评估能力

摘要：Hugging Face推出RoboJudge系列工具，旨在提升多模态大语言模型（MLLMs）在具身视频生成中的评估能力。RoboJudge-Bench基准测试集包含800个视频，涵盖物理有效性和任务指令对齐性两个核心维度。通过对现有模型的评估发现，通用MLLMs在物理有效性判断上表现不佳，而专用视频评估模型难以适应具身场景。基于此，团队构建了RoboJudge-Train数据集，并微调了一个9B参数的MLLM，推出了RoboJudge-9B模型。该模型在RoboJudge-Bench上的Pearson相关系数达到0.719，显著优于现有最强基线模型Gemini-3.7-Flash。RoboJudge-9B还展示了在VideoPhy2和Physion-Eval等外部基准测试中的性能提升，为视频生成模型提供了更可靠的评估工具。

---

技术机制剖析

RoboJudge的核心创新在于其多模态评估能力，特别是在具身视频生成领域的应用。具身视频生成模型需要确保生成的视频在物理上有效且与任务指令一致。RoboJudge通过以下方式实现这一目标：

1. RoboJudge-Bench基准测试集：包含800个来自8个不同语料库和10个视频生成器的视频，涵盖抓取器、人类手部和灵巧手等场景。每个视频均经过人工标注，评估物理有效性和任务指令对齐性两个维度。

2. RoboJudge-Train数据集：包含12K个视频，标注了25K个人类验证的分数和模型辅助的推理依据，用于微调MLLM。

3. RoboJudge-9B模型：在RoboJudge-Train数据集上通过监督学习和强化学习微调一个9B参数的MLLM。实验结果表明，该模型在RoboJudge-Bench上的Pearson相关系数达到0.719，显著优于现有最强基线模型Gemini-3.7-Flash。

工程权衡与实测表现

1. 物理有效性与指令对齐性的平衡：RoboJudge在物理有效性和指令对齐性之间取得了良好的平衡。通用MLLMs在物理有效性判断上表现不佳，而专用视频评估模型难以适应具身场景。RoboJudge通过构建专门的训练数据集和微调策略，弥补了这一缺陷。

2. 跨领域适应性：RoboJudge-9B在VideoPhy2和Physion-Eval等外部基准测试中表现出色，展示了其在不同领域的泛化能力。

3. 性能提升：与Gemini-3.7-Flash相比，RoboJudge-9B在Pearson相关系数上提升了0.089，显著提高了评估的准确性和可靠性。

开发者落地与部署建议

1. 数据集构建：开发者可以利用RoboJudge-Train的数据集构建方法，构建适用于特定领域的评估数据集。

2. 模型微调：RoboJudge-9B的微调策略可以作为参考，帮助开发者提升自身模型的评估能力。

3. 多模态评估工具集成：RoboJudge可以作为多模态评估工具集成到现有的视频生成模型开发流程中，提供更可靠的评估结果。

结论

RoboJudge的推出标志着多模态大语言模型在具身视频生成评估领域的重大进步。其在物理有效性和指令对齐性方面的卓越表现，为视频生成模型的开发和评估提供了新的标准。

---

消息来源：Hugging Face Daily Papers (2026-10-20)

—— 完 ——

主题标签： #Hugging Face 关注 #RoboJudge 关注 #多模态大语言模型 关注 #视频生成 关注 #评估基准 关注