智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #Hugging Face #机器人控制 #3D感知 #多模态 #Transformer

Hugging Face发布Grounded Action Models:3D感知驱动机器人控制新范式

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 7 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Hugging Face推出了一种名为Grounded Action Models (GAM) 的新型机器人基础模型,通过3D感知实现对目标对象及其空间位置的精确理解。GAM能够通过语言、点和或框提示进行条件化,并结合多流Transformer架构,将目标视觉特征与机器人状态历史融合,从而预测动作片段。在RoboTwin 2.0和LIBERO-PRO等基准测试中,GAM表现出色,尤其在复杂场景和任务中显著优于现有方法,为机器人控制领域带来了突破性进展。


3D感知驱动的机器人控制新范式

Hugging Face的研究团队提出了一种名为Grounded Action Models (GAM) 的新型机器人基础模型,旨在解决当前机器人模型在处理目标对象及其空间位置时的不足。GAM通过以下核心特性实现了突破性进展:

  • 3D感知与目标定位:GAM能够将语言、点和或框提示转换为共享对象中心表示,捕捉目标视觉特征和度量对象几何信息。
  • 多流Transformer架构:通过多流Transformer,GAM将目标视觉特征与机器人状态历史融合,预测动作片段,从而实现更精准的机器人控制。
  • 多模态条件化:GAM支持多种条件化方式,包括语言、点和或框提示,使其能够适应不同的任务需求。

技术亮点与性能表现

  1. RoboTwin 2.0基准测试:GAM在50个任务中实现了55.3%的平均成功率,显著优于Spatial Forcing的52.0%。在场景随机化条件下,GAM的成功率为47.6%,而Abot-M0仅为30.4%。
  2. LIBERO-PRO基准测试:GAM在16种扰动设置中实现了61%的平均成功率,超过了π_{0.5}的53%。尤其在目标重新定位或重新指定的情况下,GAM表现出色。
  3. 实际机器人测试:在双机械臂YAM平台上,GAM在视觉偏移条件下保持了17/20的成功率,而π_{0.5}仅为4/20。在与Molmo2规划器结合的Franka机器人上,GAM在长时记忆依赖任务中实现了64.7%的ID和49.8%的OOD步骤完成率。

行业影响与开发者建议

GAM的推出标志着机器人控制领域的一个重要里程碑,为机器人基础模型的发展提供了新的方向。以下是几点建议:

  • 开发者:可以尝试将GAM集成到现有的机器人系统中,利用其多模态条件化和3D感知能力,提升机器人任务的执行效率和准确性。
  • 研究人员:可以进一步探索GAM在不同应用场景中的潜力,例如在复杂环境下的自主导航和操作任务。
  • 企业:可以关注GAM的商业化应用,例如在制造业、物流和医疗领域的机器人自动化解决方案。

结论

GAM的出现为机器人控制领域带来了新的机遇和挑战。通过3D感知和多流Transformer架构,GAM实现了对目标对象及其空间位置的精确理解,为机器人基础模型的发展开辟了新的道路。


消息来源:Hugging Face Daily Papers (2026-09-20)

—— 完 ——

主题标签: #Hugging Face #机器人控制 #3D感知 #多模态 #Transformer

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…