智客 ZICQ
EN 登录 / 注册
智客前沿 智能体 #多模态AI #世界行为模型 #AI预测 #深度学习 #机器人

ModAR:首个多模态自回归世界行为模型发布,显著提升AI预测性能

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间: · 8 次阅读

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:ModAR 是首个多模态自回归世界行为模型(WAM),通过自回归去噪多个未来模态(如深度图、DINO特征、点轨迹等),并基于这些模态预测未来行为。该模型在训练中系统研究了训练数据混合、预测模态和WAM公式对性能的影响,展示了其在预测点轨迹、DINO特征和深度图方面的显著优势。相较于现有方法,ModAR的顺序生成机制在所有评估数据规模上均表现出更高的平均成功率。此外,在视频模型初始化的WAM Flex-π上进行微调时,ModAR以约20倍更少的训练FLOPs实现了更高的平均成功率(75% vs. 72%),并在真实世界的双手任务中表现优异。


技术亮点解析

  • 多模态自回归预测:ModAR 是首个采用自回归去噪机制的多模态世界行为模型(WAM),能够同时处理深度图、DINO特征、点轨迹等多种视觉模态,从而更高效地捕捉几何、语义和运动特征。
  • 训练数据与模态优化:通过系统研究训练数据混合、预测模态和WAM公式对性能的影响,ModAR 展示了在预测点轨迹、DINO特征和深度图方面的显著优势,而额外预测未来RGB图像并未带来一致的性能提升。
  • 顺序生成机制:ModAR 的顺序生成机制在所有评估数据规模上均表现出更高的平均成功率,优于现有的WAM方法。
  • 高效微调与低计算成本:在视频模型初始化的WAM Flex-π上进行微调时,ModAR 以约20倍更少的训练FLOPs实现了更高的平均成功率(75% vs. 72%),展示了其在低计算成本下的强大性能。

行业影响与开发者建议

  • AI 预测性能提升:ModAR 的发布标志着多模态AI预测领域的重要进展,为需要高效预测未来行为的应用场景(如机器人、自动驾驶和虚拟现实)提供了更强大的工具。
  • 低计算成本优势:由于其高效的微调机制和低计算成本,ModAR 特别适合资源受限的环境,为开发者提供了更灵活的应用选择。
  • 实际应用场景:在真实世界的双手任务中,ModAR 表现出色,展示了其在复杂任务中的潜力。开发者可以将其应用于需要高精度预测和高效计算的应用中,如机器人操作和工业自动化。

结论

ModAR 的发布为多模态AI预测领域带来了新的可能性,其在训练数据优化、顺序生成机制和低计算成本方面的优势,使其成为AI应用开发中的重要工具。


消息来源:Hugging Face Daily Papers (2026-09-15)

—— 完 ——

主题标签: #多模态AI #世界行为模型 #AI预测 #深度学习 #机器人

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…