Hugging Face发布MM-ABC:革新移动操作机器人基础模型
文 / Mr.Xu
发布时间:
摘要:Hugging Face推出了一款名为MM-ABC的移动操作机器人基础模型,旨在解决机器人交互中空间感知和异构动作协调的挑战。MM-ABC通过稀疏多级视觉语言模型(VLM)特征进行空间感知,并引入未来分支和MM-APT模块以增强感知与操作意图预测。实验结果表明,MM-ABC在多个基准测试中表现优异,例如在EBench上成功率为44.71%,在RoboCasa365上为61.2%,在LIBERO上为99.1%,在真实世界任务中平均成功率为83%。该模型为移动操作机器人领域带来了突破性进展。
概述
Hugging Face近日发布了一款名为MM-ABC的移动操作机器人基础模型,旨在解决机器人交互中空间感知和异构动作协调的核心挑战。MM-ABC通过以下三个核心组件实现其功能:
- 稀疏多级VLM特征:用于空间感知,能够在连续自我运动下进行精确的空间定位和理解。
- 未来分支:仅在训练时使用,通过世界想象和几何意图作为额外监督,增强感知与操作意图预测。
- MM-APT模块:通过掩码联合注意力和干净动作预测,协调独立的操作和移动流。
技术亮点
- 高效跨流协作:MM-ABC不仅实现了操作和移动动作的解耦,还支持高效的跨流协作,从而提升了整体学习信号。
- 多层次监督:通过未来分支和几何意图的引入,MM-ABC在感知和操作意图预测方面表现出色。
- 大规模预训练:MM-ABC在5000+小时的异构机器人数据上进行了预训练,涵盖400K+个片段、12个数据集和17种不同的机器人形态。
实验结果
在多个基准测试中,MM-ABC展示了其强大的性能:
- EBench:成功率为44.71%。
- RoboCasa365:成功率为61.2%。
- LIBERO:成功率为99.1%。
- LIBERO-Plus:在无扰动训练的情况下,成功率为82.8%。
- 真实世界任务:平均成功率为83%。
行业影响
MM-ABC的发布标志着移动操作机器人领域的重要进展。其高效的空间感知和动作协调能力使其在复杂任务中表现出色,为研究人员和开发者提供了强大的工具。此外,MM-ABC的架构设计也为未来的机器人智能体开发提供了新的思路,特别是在多模态交互和复杂环境适应方面。
开发者建议
- 模型应用:建议研究人员和工程师在移动操作机器人项目中尝试使用MM-ABC,以提升任务执行效率和成功率。
- 扩展研究:可以进一步探索MM-ABC在不同机器人形态和任务场景中的表现,并结合其他AI技术(如强化学习)进行优化。
- 社区参与:鼓励开发者参与MM-ABC的开源社区,分享使用经验和改进建议,推动模型的发展和应用。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-28)
主题标签: #Hugging Face #移动操作 #机器人 #VLM #AI模型
社区整体评论区