Hugging Face发布Code2Video-Compass：多模态视频生成领域的通用基准测试平台

摘要：Hugging Face推出了Code2Video-Compass，这是一款针对代码驱动视频生成领域的通用基准测试平台，涵盖文本生成视频（T2V）、图像生成视频（I2V）和视频生成视频（V2V）三种任务类型。该平台包含2104个任务，跨越10个类别和24种子类型，并结合了客观与主观评估方法，评估视频生成的质量、对齐性和一致性。实验结果表明，现有模型在复杂场景下的生成能力仍有较大提升空间，Code2Video-Compass有望推动代码驱动视频生成技术的进一步发展。

---

背景与动机

代码驱动的视频生成技术通过将视觉和时序需求转化为可执行的程序，为视频生成提供了细粒度的控制、精准的编辑和组件的重用。然而，现有的基准测试主要针对特定任务，缺乏对跨模态、多类别视频生成的全面评估。

Code2Video-Compass的核心特性

1. 多模态任务覆盖：涵盖T2V、I2V和V2V三种任务类型，适用于多种输入输出场景。
2. 任务多样性：包含2104个任务，跨越10个类别和24种子类型，涵盖从建筑到动态动画再到状态依赖的复杂场景。
3. 评估框架：采用双层评估框架，结合12个客观指标（如视频质量、对齐性、操作性能）和5个主观指标（如整体质量、指令遵循度），全面评估视频生成的效果。
4. 复杂场景模拟：通过构建、动态动画和状态依赖等复杂性维度，模拟真实世界的复杂应用场景。

实验结果与发现

对来自9个家族的15个最新模型（包括开源和商业模型）进行评估，结果显示：

• 性能差异显著：即使是最先进的模型，在处理复杂任务时也面临挑战，尤其是在涉及动态动画和状态依赖的场景中。
• 性能与复杂性负相关：随着任务复杂性的增加，模型的表现普遍下降，表明现有模型在处理高复杂度视频生成任务时仍有较大提升空间。

未来展望

Code2Video-Compass的发布为代码驱动的视频生成技术提供了一个标准化的评估平台，将推动该领域的进一步发展，并为研究人员和工程师提供更可靠的基准测试工具。

工程权衡与建议

1. 模型优化方向：针对动态动画和状态依赖的生成能力进行重点优化，例如引入更强大的时间建模机制和状态跟踪方法。
2. 多模态融合策略：改进多模态信息的融合方式，提升模型对不同输入模态的理解和生成能力。
3. 评估指标优化：进一步细化评估指标，例如引入更细粒度的对齐性指标和用户满意度评估。

开发者落地建议

• 利用基准测试进行模型评估：建议开发者使用Code2Video-Compass对现有模型进行评估，以识别不足并优化模型性能。
• 关注多模态融合技术：在模型开发中重视多模态信息的融合，提升模型的泛化能力和生成质量。
• 探索新的时间建模方法：针对动态场景的生成，探索更高效的时间建模方法，例如基于Transformer的时间注意力机制。

---

消息来源：Hugging Face Daily Papers (2026-10-20)

—— 完 ——

主题标签： #Hugging Face 关注 #多模态 关注 #视频生成 关注 #基准测试 关注 #MLLM 关注