VLAct:基于表示中心持续预训练的多模态机器人模型取得突破
摘要:VLAct是一种新型的视觉-语言-动作(VLA)模型,通过基于表示中心的持续预训练方法,在机器人数据有限的情况下实现了高效的知识迁移。该模型通过保留广泛的VLM先验知识、多头连续动作协同监督和跨模态动作布局的统一化设计,显著提升了模拟、真实世界以及跨机器人平台任务中的表现。在多个基准测试中,VLAct均表现出色,尤其在RoboCasa-GR1测试中,仅使用20%的下游轨迹数据就超越了全数据训练的GR00T-N1.6基线模型,展示了其在计算资源有限条件下的强大竞争力。
技术背景与挑战
构建通用的视觉-语言-动作(VLA)模型需要大量机器人数据,但机器人轨迹数据难以扩展,因为其实体化收集成本高昂且对物理世界的覆盖稀疏。这导致表示质量成为瓶颈:在固定的机器人数据预算下,持续预训练必须将有限的轨迹转化为可迁移的视觉-动作知识,而不仅仅是拟合动作。
VLAct模型的核心创新
VLAct是一种面向VLA的视觉-语言模型(VLM)主干网络,在任务特定的微调之前,它在广泛的、异构的、多机器人平台数据上进行训练。其主要创新点包括:
- VLM先验保留:通过保留广泛的VLM先验知识,确保模型能够利用预训练阶段获得的知识进行有效推理。
- 多头连续动作协同监督:通过多头协同监督机制,鼓励跨机器人平台的动作语义共享。
- 部分统一的跨模态动作布局:在微调阶段允许任务特定的动作头,同时保持跨模态动作布局的统一性。
实验结果与性能
VLAct在多个基准测试中表现出色:
- 在LIBERO-Plus和RoboTwin 2.0上,VLAct的成功率分别达到82.6%和92.5%,超过了工业级VLA系统,如ABot-M0和LingBot-VLA。
- 在RoboDojo上,VLAct在成功率方面排名第六,并在所有明确指定的世界-动作模型(WAM)条目中表现最佳。
- 在RoboCasa-GR1(一个未见过的类人机器人平台)上,VLAct仅使用20%的下游轨迹数据就超越了全数据训练的GR00T-N1.6基线模型。
行业影响与开发者建议
VLAct的成功表明,基于表示中心的持续预训练可以在计算资源有限的情况下实现高效的知识迁移,为VLA模型的开发提供了新的思路。开发者可以借鉴VLAct的设计理念,在以下方面进行探索:
- 跨模态知识迁移:探索如何在不同模态之间更有效地迁移知识。
- 任务特定的微调策略:设计更精细的微调策略,以充分利用预训练模型的潜力。
- 数据效率提升:在数据有限的情况下,通过创新的预训练方法提升模型性能。
结论
VLAct展示了在机器人数据扩展困难的情况下,通过创新的预训练方法实现高效知识迁移的潜力,为未来的VLA模型开发指明了方向。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-08-27)
主题标签: #VLAct #VLA模型 #持续预训练 #机器人控制 #多模态学习
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区