智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #NVIDIA Omniverse #AI智能体 #Physical AI #Isaac Sim #OpenUSD

NVIDIA展示Omniverse前沿模型智能体编排工作流

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:NVIDIA集中展示前沿模型智能体与Omniverse、Isaac Sim、Newton及SimReady资产的组合工作流:智能体可用自然语言搭建场景、配置OpenUSD、生成物理与控制代码,再由GPU完成渲染和传感器仿真。案例覆盖数字孪生、机器人抓取、VR、CAD拆解、线缆强化学习与仓库压力测试,SimReady Central提供逾2000个仿真就绪资产。公开数据包括仓库场景1080p/30fps,以及256间病房中766/768台Microduck在14秒后保持站立;但多数结果仍是厂商自述,缺少统一基线、方差和实机校准。


智能体位于编排层,专用引擎仍在执行层

NVIDIA这次展示的核心不是用大模型取代仿真器,而是把通用模型变成仿真开发栈的控制平面。编排代理读取CAD、OpenUSD、设备文档和渲染结果,拆解任务、生成脚本与工具调用,执行后再依据日志、图像和物理指标继续修改。可概括为:自然语言目标 → 任务分解 → 调用Blender、Onshape、Houdini、Isaac Sim、Newton或Warp → 产出场景、代码和控制器 → 读取渲染与诊断信息 → 按验收条件迭代。

这一区分很重要。文中列出的GPT-6 Astra、GPT-6 Sol及Claude Code等模型承担规划、编码和工具编排;Microduck案例中的行走策略则是事先训练完成,智能体主要负责组装场景和批量测试。换言之,智能体扩展的是工程操作空间,并未替代接触求解、强化学习训练或传感器建模。

三层技术架构

  1. 智能体编排层:通过Agent Skills或MCP工具封装场景查询、资产生成、代码执行、物理测试和渲染检查。自然语言只负责表达目标,状态修改仍需落到结构化接口、USD变更和可执行代码上。

  2. 仿真数据层:OpenUSD负责可组合场景图,ovstage更新场景,ovphysx或Newton执行物理,Warp提供GPU计算能力,ovrtx完成RTX渲染,ovstream向浏览器传输结果,ovui构建交互界面。Isaac Sim在此基础上提供机器人场景、传感器与强化学习工具。智能体修改的是这些引擎的输入和参数,而不是直接“思考”出物理结果。

  3. 资产与验证层:SimReady Central提供逾2000个带有关节、碰撞、摩擦等仿真属性的USD资产,Onshape等CAD流程则负责补齐机器人几何与关节配置。资产标准化能缩短场景搭建时间,却不能替代针对真实设备的物理标定。

公开案例透露了哪些工程信号

| 场景 | 文中给出的结果 | 应如何解读 | |---|---|---| | 仓库压力测试 | 80条输送线、40条机械臂和800个箱子,在两分钟测试中维持1080p、30fps,并完成640次放置 | 证明该配置下的渲染和场景规模可行,但30fps不等于物理实时因子;场景再次翻倍后,瓶颈仍落在物理与机器人控制管线 | | Microduck批量仿真 | 256间病房中,768台机器人在14个模拟秒后有766台保持站立 | 反映批量并行和静态碰撞体优化的价值,但采用预训练策略及预设路线,不能代表复杂地形或扰动下的行走鲁棒性 | | VR抓取交互 | Claude Code工作约8小时,应用在周末完成;将抓取控制改为每帧更新后消除物体抖动 | 说明日志和自动测试无法替代头显中的直接体验验证,也暴露了物理步进、渲染帧与控制器更新之间的时序耦合 | | ABB YuMi资产转换 | CAD经OpenUSD转换后完成4次方块抓取循环 | 仿真内可运行,但文中明确指出摩擦等参数尚未与真实机器人校准,因此不能据此估算实机成功率 | | SimReady场景装配 | 逾2000个可用资产;示例厨房使用63个独立资产完成180次布置,并补充18个自定义几何体 | 主要收益是资产检索与装配效率,而不是任务策略质量 | | Robo Olympics | Unitree G1在100次跨栏仿真中成功64次 | 可作为控制器调试反馈,但没有基线、随机种子、步长和置信区间,暂不能判断改进幅度 |

几个案例还揭示了可复用的工程模式。医疗机器人场景在无图形支持的云容器中运行物理,只记录机器人姿态,再在本地渲染;仓库案例将物理计算、图像渲染和视频准备并行调度;数字孪生则用相机及原始LiDAR输出与录制数据做差异度量,再把缺失几何、材质和对象反馈给智能体。

吞吐、延迟与物理保真之间的权衡

扩展性不等于真实性。 把家具设为静态碰撞体可以减少动态接触对,让更多病房副本同时求解,但也会丢失家具被推动、碰撞或掉落时的行为。资产和场景越大,几何、纹理及求解器状态的显存占用也越高;GPU数量增加可以扩展副本,却不能自动修复接触模型错误。

渲染帧率不能代替物理实时性。 判断仿真是否跟得上真实时间,应计算RTF = T_sim / T_wall,其中T_sim是已模拟时间,T_wall是墙钟时间。文中仓库场景的30fps只说明画面输出速率,未披露固定物理步长、每步求解时间或RTF。对机器人控制而言,稳定频率与响应时延往往比像素帧率更关键。

资产一致性比资产数量更难。 SimReady可以预先提供关节和碰撞元数据,但同一设备的不同版本仍可能存在惯量、关节限位、接触偏移和材质参数不一致。CAD几何转换成功只说明拓扑可导入,不代表动力学参数正确。

智能体自主性与可复现性存在冲突。 模型生成代码、选择工具和调整参数的顺序具有非确定性。若不锁定模型版本、提示模板、工具Schema、随机种子、容器镜像和USD版本,同一任务可能得到行为不同但表面相似的工程结果。生产工作流应把生成内容视为待审查补丁,而不是直接写入生产资产的最终答案。

评测为何仍需谨慎

这是一篇官方生态精选,能够提供代码、资产和若干量化观察,但并非统一基准。案例没有给出相同硬件上的专家基线、重复运行方差、失败分类或成本数据。不同场景中的30fps、14秒站立和64次跨栏成功也对应完全不同的任务定义。

更可信的评测至少应同时记录任务成功率、RTF、首个稳定场景生成时间、人工干预次数、工具调用成功率、Token及GPU成本、碰撞求解残差,以及传感器输出相对真实设备的误差。对于机器人策略,还需在同一任务分布上比较脚本控制器、纯人工工作流和智能体工作流,并进行多次随机种子重复测试。

材料中提及的若干模型版本名称也未附独立模型卡、版本指纹或同条件评测,因此本文只把这些模型视为编排代理,不据此判断其底层推理能力或行业排名。

开发者落地路径

  1. 从SimReady资产起步,但先做物理审计:检查关节轴、限位、惯量、碰撞体和摩擦参数;同一资产在CAD、Blender与Omniverse之间流转时,以OpenUSD变体和校验结果为准。

  2. 把智能体接入窄工具接口:为资产生成、USD修改、求解器运行和渲染截图分别定义输入输出Schema;禁止模型直接获得无限制文件系统、网络或GPU权限。

  3. 分离物理与渲染管线:大规模策略搜索采用无渲染headless模式,只有候选方案再进入RTX渲染;静态物体应使用静态碰撞结构,动态设备则保留完整接触求解。

  4. 给智能体结构化诊断信息:除渲染图外,同时提供编译错误、求解器接触数、步进耗时、机器人姿态、关节越界和传感器残差。自然语言不是最有效的唯一观测接口。

  5. 建立确定性验收层:将“能够抓取”“无明显抖动”或“设备可达”等自然语言要求转换为可执行断言,并固定场景版本和随机种子,再允许智能体进入修改循环。

  6. 最后闭合实机回路:分别校准执行器延迟、摩擦、柔顺性、相机与LiDAR误差,再比较仿真和实机分布。若直接使用仿真中训练或调参的控制器,需单独评估域偏移风险。

结论

这条工作流的价值不在于让GPT或Claude替代仿真引擎,而在于把建模、配置、测试和排障中的工程摩擦转化为可对话、可审查、可回滚的智能体操作层。它能否从演示进入生产,取决于资产物理保真度、工具权限隔离、评测可重复性以及实机校准,而不只是智能体能否生成一段可运行代码。


消息来源:NVIDIA AI News (2026-11-19)

—— 完 ——

主题标签: #NVIDIA Omniverse #AI智能体 #Physical AI #Isaac Sim #OpenUSD

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…