DexForce发布UNITAS:首个3D原生世界动作模型,革新机器人操作与场景预测
摘要:DexForce推出UNITAS,这是首个3D原生世界动作模型(WAM),旨在解决机器人交互中物理动作与场景变化的核心问题。UNITAS通过将观察、动作和场景动态统一在共享的3D度量空间中,显著提升了机器人操作的准确性和场景预测的效率。其核心机制包括3D点轨迹的动作流和场景点位移的场景流,以及基于物理时间轨迹的token化方法。在RoboTwin基准测试中,UNITAS实现了最佳的动作条件场景预测性能,位移误差比PointWorld低49%,并在LIBERO和真实世界任务中分别达到99.8%和85%的操作成功率。
技术机制剖析
UNITAS的核心突破在于其3D原生架构,它将机器人操作中的观察、动作和场景动态统一在一个共享的3D度量空间中。其主要技术特点包括:
-
动作流与场景流:
- 动作流:将人类手部和机器人夹具表示为3D点轨迹,捕捉动作的物理本质。
- 场景流:基于这些轨迹,描述场景中点的位移,从而实现对场景变化的精准建模。
-
世界对齐的3D位置嵌入:
- 通过将视觉token与3D位置对齐,UNITAS能够处理有无深度输入的视觉信息,并将其与物理空间关联。
-
物理时间轨迹tokenizer:
- 将每个点轨迹编码为一个token,并将其锚定在当前的3D位置。这种方法确保了动作和场景变化的连续性和物理一致性。
工程权衡与实测表现
UNITAS的参数规模为1.7B,在RoboTwin基准测试中,其动作条件场景预测性能优于现有方法,位移误差最多降低49%。在操作成功率方面,UNITAS在LIBERO上达到了99.8%,在真实世界任务中平均为85%。这些数据表明,UNITAS在精度和效率之间取得了良好的平衡。
然而,3D原生架构也带来了更高的计算和存储开销,特别是在处理复杂场景时。尽管如此,UNITAS通过优化3D表示和轨迹tokenization,显著降低了这些开销,使其在实际应用中具有可行性。
开发者落地与部署建议
对于开发者而言,UNITAS的发布提供了一个强大的工具,可以用于各种机器人操作任务,包括但不限于:
- 机器人控制与导航:利用UNITAS的3D动作流和场景流,开发者可以更精准地控制机器人动作并预测其对环境的影响。
- 增强现实与虚拟现实:UNITAS的3D原生特性使其成为构建沉浸式体验的理想选择。
- 智能制造与自动化:在工业环境中,UNITAS可以用于优化机器人操作流程,提高生产效率。
建议开发者在使用UNITAS时,结合具体的应用场景进行微调,并关注其计算和存储需求,以确保在资源受限的环境中高效运行。
结论
UNITAS的发布标志着机器人动作建模和场景预测领域的一个重要里程碑。其3D原生架构和创新的轨迹tokenization方法,为机器人操作和智能体应用提供了新的技术路径。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-10-08)
主题标签: #UNITAS #3D-native #机器人操作 #场景预测 #DexForce
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区