WorldFoundry开源世界模型基础设施：统一推理、评测与证据审计

摘要：WorldFoundry将视频、3D/4D、具身动作及交互式世界模型纳入统一的开源基础设施，覆盖模型与基准发现、运行时和资产准备、执行编排、制品管理及交互可视化。其核心不是提出单一世界模型，而是建立可复现的比较框架：显式清单、持久化制品契约和证据化评分卡将“能否执行”与“效果如何”分开记录。目录目前收录270个模型、74个基准和62项指标，但目录规模本身不能证明各系统具备持久状态、因果响应或物理一致性，评测仍需检查执行证据与跨模态指标口径。

---

开源世界模型基础设施，不等于又一个世界模型

WorldFoundry把视频生成、3D/4D场景、具身动作和交互式世界系统纳入同一套发现、执行与评测流程。它试图解决的不是“如何训练一个更强的生成模型”，而是不同团队生成的模型究竟在什么条件下运行、产生了哪些证据，以及分数能否被第三方复核。

该框架对生成式世界模型提出了更严格的要求：一个合格的系统不能只生成视觉上逼真的视频，还要维护受历史条件约束的持久状态，根据动作或干预更新内部表示，并在观测轨迹与反事实干预之间保持时间、因果和动力学一致性。视觉质量只是门槛，不是世界智能的充分证明。

统一管线如何处理异构系统

WorldFoundry将基础设施拆分为若干可组合环节：

1. 发现层：集中登记模型、数据资产、基准和指标，减少研究者在仓库、脚本和论文附录之间反复查找的成本。
2. 准备层：为不同系统生成运行时配置、依赖环境和输入资产，并通过显式清单记录执行前提。
3. 执行层：编排推理、仿真或交互任务，把模型调用、轨迹生成与评测执行纳入统一生命周期。
4. 制品层：持久化输出、轨迹、配置、日志及评分结果，使结果不依赖临时工作目录。
5. 可视化层：支持检查视频、3D/4D结果及动作反馈，帮助研究者定位失败究竟来自视觉生成、状态更新还是物理响应。
6. 评分层：用证据化评分卡关联指标结果与原始制品，区分“已登记”“可执行”“已评测”和“已被独立验证”等不同成熟度。

关键设计是模态适配器：适配器保留各系统原生的输入格式、执行语义、输出表示与评测协议。统一的是契约和工作流，而不是强迫视频生成器、3D生成器与机器人策略共用同一张量接口或同一指标。这种设计可以减少适配成本，但也会把大量复杂性留给适配层；一旦适配器改变观测、动作或评分语义，跨模态排行榜仍可能出现不可比问题。

证据链比聚合分数更重要

WorldFoundry明确区分执行就绪度与评测结论。每个项目通过清单声明依赖、模型版本、数据资产、入口命令和输出类型，再用制品契约约束运行后应保留哪些文件、轨迹与日志。评分卡再把每项结果链接到相应证据，降低“只发布最终分数、不公开运行条件”的复现风险。

对世界模型而言，这一点尤其重要。一次生成任务是否成功，至少取决于随机种子、初始状态、动作序列、观测时间戳、物理参数、求解器设置、模型版本和显存精度。如果这些变量没有进入不可变制品契约，即使平均视频质量指标相同，两次结果也未必具备可比性。

目录当前包含270个模型条目、74个基准和62项注册指标，且就绪状态与执行证据分开记录。不过，注册数量不能直接视为能力覆盖度：大量条目可能只处于可发现或待运行状态，跨模态任务也可能采用不同难度、采样预算和数据切分。研究团队若要建立可信的横向结论，仍需公开每个条目的执行覆盖率、失败率及指标版本。

工程权衡：统一性、吞吐与隔离成本

统一编排带来可复现、资产复用和横向比较收益，但也有明显代价。

• 依赖隔离：视频扩散模型、3D资产管线和机器人仿真栈往往依赖不同CUDA、驱动、Python与系统库。把它们置于同一容器或同一节点，容易造成镜像膨胀、CUDA版本冲突和调度碎片化。更合理的实现应按后端构建隔离环境，再通过标准化任务契约连接。
• 存储成本：长视频、点云、4D体数据和逐时间步轨迹会快速占用对象存储。制品“持久化”若不配置分层存储、内容寻址、去重和生命周期策略，成本可能随评测轮次线性上升。
• 调度延迟：交互式世界模型包含模型推理、环境推进和策略闭环，不能简单按离线生成任务批处理。统一队列需要在吞吐优先的离线评测与低延迟闭环控制之间安排不同优先级。
• 可扩展性：目录与制品系统最终会面临元数据查询、版本索引和结果聚合瓶颈。大规模运行前需要明确并发写入、任务重试、幂等执行和缓存命中策略，避免相同模型被重复下载与初始化。
• 公平比较：统一资产并不意味着统一计算预算。参数量、采样步数、分辨率、动作频率和仿真步长都会改变成本与效果，评分卡应同时记录质量、延迟、显存、能耗及失败次数，而非只给出感知质量分数。

评测如何避免把“看起来像”当作“理解世界”

WorldFoundry定义的框架覆盖五个维度：感知落地、持久状态建模、可控变换、动力学感知预测和闭环交互。落到指标层面，可组合为以下评测轴：

• 持久性：在动作中断、遮挡或长时 rollout 后，内部状态是否仍与历史一致，而非每帧独立重绘。
• 可控性：给定确定动作或干预后，输出变化是否与动作语义一致，并覆盖已观测和未观测的反事实条件。
• 动力学一致性：物体碰撞、速度、接触与约束是否遵循预期物理规律，而不仅是训练数据中的视觉关联。
• 时间一致性：对象身份、遮挡关系和场景拓扑能否跨帧保持。
• 闭环效用：生成的环境是否能支持策略规划或控制，并在多步交互中提供有效训练信号。

这些维度都需要针对具体任务定义协议。以3D场景为例，Chamfer距离或CLIP相似度只能衡量几何或语义接近程度，无法证明动态可交互性；以视频为例，VBench类感知指标也不能替代状态保持和反事实响应测试。WorldFoundry的适配器保留原生评测协议是合理的，但报告中还应呈现指标定义、随机种子、样本量、置信区间和失败样例。

开发者落地建议

研究团队可先选择一个模态建立最小闭环，而不是一次性接入全部系统：固定模型与数据集版本，定义任务清单和制品目录，在干净环境中执行，并让每个分数都能回溯到视频、轨迹、配置和日志。随后再引入第二、第三个模态，以检验统一契约是否真的可扩展。

评测设计应预先登记主要指标与成本预算，避免事后选择有利结果。对交互式系统至少记录端到端延迟、每步吞吐、峰值显存、环境步进成本和策略成功率；对生成系统则应加入时间一致性、动作可控性和反事实响应，而不仅是视觉质量。

生产部署还应建立沙箱与配额边界，防止模型适配器、第三方资产或交互后端获得不必要的文件系统、网络与设备权限。制品签名、依赖锁定和不可变版本号同样重要，否则“开源可复现”仍可能退化为只能在原作者环境中运行。

WorldFoundry的价值与边界

WorldFoundry的核心贡献是把世界模型研究从单个演示视频推进到可审计的实验基础设施：它不强求所有系统采用同一架构，而是用统一契约连接模型、基准、运行时和证据，使持续状态与可控动力学能够被一致地描述和比较。

但基础设施不能替代科学验证。目录规模不是模型能力，适配器统一也不等于指标天然公平。真正有说服力的结果，应来自不同团队在相同资产、预算和协议下复现，并公开失败案例、资源消耗与制品证据。只有当这套流程经得住跨实验室复核，视觉生成与“世界智能”之间的差距才能从概念讨论转化为可量化工程问题。

---

消息来源：Hugging Face Daily Papers (2026-11-07)

—— 完 ——

主题标签： #世界模型 关注 #生成式AI 关注 #可复现评测 关注 #多模态基础设施 关注 #证据化评分 关注