NVIDIA发布Cosmos 3：开源物理AI基础模型，统一视觉推理、世界生成与动作预测
文 / Mr.Xu
发布时间： · 8 次阅读
摘要：NVIDIA正式发布Cosmos 3，一个基于混合Transformer架构的开源物理AI基础模型家族，旨在统一视觉推理、世界生成与动作预测。该模型家族包括64B的Super版、16B的Nano版和4B的Edge版，覆盖从云端到边缘的部署需求。Cosmos 3在多项基准测试中排名第一，包括Artificial Analysis的开放权重文生图与图生视频、PAI-Bench的世界生成、Physics-IQ的图像到视频以及RoboLab的机器人策略。模型采用Linux基金会的OpenMDW 1.1许可，支持后训练定制，为机器人、自动驾驶和视觉AI提供可适应的基础。本文解析其技术架构、基准表现、开源许可及行业应用。
核心要点
- 统一架构：Cosmos 3采用混合Transformer架构，将视觉语言模型、世界模拟器和世界动作模型整合到一个模型家族中，开发者无需维护多个独立模型。
- 多尺寸覆盖：提供64B Super、16B Nano和4B Edge三个版本，满足从高保真世界建模到边缘设备部署的多样化需求。
- 开源许可：基于Linux基金会的OpenMDW 1.1许可发布，允许开发者自由下载、修改和商用，支持后训练定制。
- 基准领先：在多项权威基准中排名第一，包括Artificial Analysis、PAI-Bench、Physics-IQ和RoboLab。
技术架构与创新
Cosmos 3的核心是**混合Transformer（Mixture-of-Transformers）**架构，这是一种稀疏激活的模型设计，能够在保持高性能的同时降低计算成本。该架构使模型能够同时处理视觉理解、世界生成和动作预测任务，实现了多模态的统一。
模型家族包括：
- Cosmos 3 Super (64B)：面向高保真世界建模，适用于需要精细物理模拟的场景。
- Cosmos 3 Nano (16B)：平衡效率与性能，适合后训练和推理。
- Cosmos 3 Edge (4B)：轻量级设计，可在边缘GPU（如RTX、Jetson Thor）上运行，支持端侧视觉推理和机器人策略部署。
开源与生态
Cosmos 3采用OpenMDW 1.1许可，这是Linux基金会推动的开放模型数据许可，允许用户自由使用、修改和分发模型。这一许可策略旨在促进物理AI领域的协作与创新，使开发者能够针对特定机器人、传感器和操作环境进行定制。
NVIDIA还通过Cosmos Coalition联合全球开发者、研究机构和行业领袖，共同推进开放世界模型的发展。近期，该联盟已扩展至日本，吸引机器人制造企业参与。
基准表现
根据NVIDIA公布的数据，Cosmos 3在多个基准测试中取得领先：
- Artificial Analysis：开放权重文生图与图生视频排名第一。
- PAI-Bench：世界生成排名第一。
- Physics-IQ：图像到视频类别排名第一。
- RoboLab：机器人策略排名第一。
- VANTAGE-Bench：视觉理解排名第一（Super版）。
这些成绩表明Cosmos 3在物理AI核心能力上的全面优势。
行业应用与开发者建议
目前，已有众多企业采用Cosmos 3，包括机器人领域的Doosan Robotics、LG Electronics、Samsung Electronics，自动驾驶领域的Li Auto、Xiaomi，以及视觉AI领域的Centific、Milestone Systems等。
对于开发者，建议：
- 利用开放权重进行后训练：根据具体场景微调模型，提升在特定任务上的表现。
- 结合Omniverse与OpenUSD：构建仿真环境，生成合成数据，加速模型验证。
- 关注Cosmos Coalition：参与社区协作，获取最新模型与工具。
总结
Cosmos 3的发布标志着物理AI基础模型进入新的阶段，其开源策略和统一架构为机器人、自动驾驶和视觉AI提供了强大的基础。随着生态的扩展，开放世界模型有望成为物理AI领域的标准基础设施。
本文参考自NVIDIA官方博客：Into the Omniverse: How Open World Models Push the Frontier of Physical AI
—— 完 ——社区整体评论区