ArXiv提出PonderPounce:利用多模态大语言模型作为机器人控制的情境引擎
摘要:ArXiv团队提出了一种名为PonderPounce的新方法,通过重用多模态大语言模型(MLLM)的原生因果上下文作为机器人记忆,提升了机器人控制的情境感知能力。Ponder作为系统2 MLLM,负责积累观察、示范和先验认知,而Pounce作为系统1视觉-语言-动作(VLA)模型,通过异步接口接收最新的认知信息。这种方法无需额外的记忆模块或桥接预训练,显著优化了推理延迟,支持20Hz的动作播放。在多个基准测试中,PonderPounce表现出色,尤其是在数据量增加时,性能提升显著。
核心突破
ArXiv团队提出了一种名为PonderPounce的新方法,旨在通过重用多模态大语言模型(MLLM)的原生因果上下文作为机器人记忆,提升机器人控制的情境感知能力。以下是主要技术亮点:
- 系统2 MLLM (Ponder):负责积累观察、示范和先验认知,并生成子目标和示范推理供内部使用。
- 系统1 VLA (Pounce):直接接收当前观察、指令和本体感受信息,通过Ponder-Pounce接口异步接收最新的认知信息。
- 联合训练:Ponder和Pounce在无需专用记忆模块或桥接预训练的情况下进行端到端联合训练。
- 优化服务:实现了78毫秒的认知刷新延迟和25毫秒的动作模型调用延迟,支持20Hz的动作播放。
实验结果
在RoboMME基准测试中,PonderPounce在基础规模训练数据下,9B模型达到了60.83%的性能,0.8B模型达到了50.04%的性能,显著优于FrameSamp+Modul(44.51%)和当前观察π_{0.5}(17.93%)。在数据量增加9倍的情况下,PonderPounce的性能提升至75.54%,而FrameSamp+Modul仅为57.88%。在RoboCasa-DC基准测试中,该方法仅通过动作监督学习,达到了12.5%的性能,超过了最强的已发布示范条件基线(11.6%),并且在替换认知为学习到的空状态时,性能下降至8.6%。
行业影响
PonderPounce展示了多模态大语言模型在机器人控制中的巨大潜力,特别是在情境感知和记忆依赖策略方面。其优化服务和高性能使其适用于需要实时反应和复杂决策的机器人应用场景,如自动驾驶、无人机控制和智能家居系统。
开发者建议
- 模型集成:开发者可以将PonderPounce集成到现有的机器人控制系统中,以提升情境感知能力。
- 数据扩展:建议在更多样化的数据集上进行训练,以进一步提升模型的泛化能力。
- 实时应用:利用其低延迟特性,开发实时机器人应用,如动态环境中的导航和操作任务。
—— 完 ——消息来源:ArXiv cs.AI (2026-08-25)
主题标签: #ArXiv #多模态大语言模型 #机器人控制 #情境感知 #低延迟
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区