智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #Hugging Face #移动操作 #机器人 #VLM #AI模型

Hugging Face发布MM-ABC:革新移动操作机器人基础模型

Mr.Xu 的头像

文 / Mr.Xu

发布时间:

中文阅读 (Chinese) English Version

摘要:Hugging Face推出了一款名为MM-ABC的移动操作机器人基础模型,旨在解决机器人交互中空间感知和异构动作协调的挑战。MM-ABC通过稀疏多级视觉语言模型(VLM)特征进行空间感知,并引入未来分支和MM-APT模块以增强感知与操作意图预测。实验结果表明,MM-ABC在多个基准测试中表现优异,例如在EBench上成功率为44.71%,在RoboCasa365上为61.2%,在LIBERO上为99.1%,在真实世界任务中平均成功率为83%。该模型为移动操作机器人领域带来了突破性进展。


概述

Hugging Face近日发布了一款名为MM-ABC的移动操作机器人基础模型,旨在解决机器人交互中空间感知和异构动作协调的核心挑战。MM-ABC通过以下三个核心组件实现其功能:

  1. 稀疏多级VLM特征:用于空间感知,能够在连续自我运动下进行精确的空间定位和理解。
  2. 未来分支:仅在训练时使用,通过世界想象和几何意图作为额外监督,增强感知与操作意图预测。
  3. MM-APT模块:通过掩码联合注意力和干净动作预测,协调独立的操作和移动流。

技术亮点

  • 高效跨流协作:MM-ABC不仅实现了操作和移动动作的解耦,还支持高效的跨流协作,从而提升了整体学习信号。
  • 多层次监督:通过未来分支和几何意图的引入,MM-ABC在感知和操作意图预测方面表现出色。
  • 大规模预训练:MM-ABC在5000+小时的异构机器人数据上进行了预训练,涵盖400K+个片段、12个数据集和17种不同的机器人形态。

实验结果

在多个基准测试中,MM-ABC展示了其强大的性能:

  • EBench:成功率为44.71%。
  • RoboCasa365:成功率为61.2%。
  • LIBERO:成功率为99.1%。
  • LIBERO-Plus:在无扰动训练的情况下,成功率为82.8%。
  • 真实世界任务:平均成功率为83%。

行业影响

MM-ABC的发布标志着移动操作机器人领域的重要进展。其高效的空间感知和动作协调能力使其在复杂任务中表现出色,为研究人员和开发者提供了强大的工具。此外,MM-ABC的架构设计也为未来的机器人智能体开发提供了新的思路,特别是在多模态交互和复杂环境适应方面。

开发者建议

  • 模型应用:建议研究人员和工程师在移动操作机器人项目中尝试使用MM-ABC,以提升任务执行效率和成功率。
  • 扩展研究:可以进一步探索MM-ABC在不同机器人形态和任务场景中的表现,并结合其他AI技术(如强化学习)进行优化。
  • 社区参与:鼓励开发者参与MM-ABC的开源社区,分享使用经验和改进建议,推动模型的发展和应用。

消息来源:Hugging Face Daily Papers (2026-09-28)

—— 完 ——

主题标签: #Hugging Face #移动操作 #机器人 #VLM #AI模型

社区整体评论区

正在加载实时智能评论与划词标注…