THAW-VLA:融合世界模型知识,革新机器人控制策略
摘要:Trung-DT研究团队提出了一种名为THAW-VLA的新方法,通过将世界模型的物理场景知识提取并注入到视觉-语言-动作(VLA)模型中,显著提升了机器人在复杂任务中的表现。该方法通过特征对齐训练,使机器人策略无需依赖生成未来帧即可继承世界模型的物理常识,从而大幅降低推理时间与计算成本。在实验中,THAW-VLA在LIBERO和RoboCasa-GR1等基准测试中表现出色,并在实际硬件平台上验证了其有效性,为机器人控制领域提供了新的优化方向。
背景与动机
视觉-语言-动作(VLA)模型在将感知映射到动作方面表现出色,但其鲁棒性主要受限于数据覆盖范围,因为它们缺乏对世界物理常识的明确建模。而世界模型虽然能够提供这种常识,但因其生成未来帧的计算开销过大,难以实时应用于控制循环中。
方法与创新
THAW-VLA通过以下方式解决了上述问题:
- 特征对齐训练:在训练过程中,冻结的世界模型对训练帧进行一次推理并缓存,学生模型学习与该缓存对齐,而不是依赖生成未来帧。
- 去除了生成机制:部署的策略与未蒸馏的基线相同,不包含任何生成机制,从而大幅降低推理时间和计算成本。
实验结果
- 在LIBERO基准测试中,0.8B参数的学生模型达到了97.9%的准确率。
- 在RoboCasa-GR1人形操作任务中,性能从48.2%提升至50.5%。
- 该方法在实际硬件平台上的单臂和双臂机器人实验中均表现出色,验证了其广泛的适用性。
技术亮点
- 高效的知识迁移:无需依赖生成未来帧即可继承世界模型的物理常识。
- 低计算成本:部署的策略与基线相同,不增加推理时间或计算开销。
- 鲁棒性强:在不同学生规模、骨架、对齐层和教师模型下均表现出色,表明其具有广泛的知识迁移能力。
行业影响与开发者建议
THAW-VLA为机器人控制领域提供了一种高效的知识迁移方法,开发者可以借鉴其特征对齐训练思路,提升机器人策略的物理常识和鲁棒性。此外,该方法对计算资源的需求较低,适合在资源受限的硬件平台上部署。
—— 完 ——消息来源:Hugging Face Daily Papers (2026-09-21)
主题标签: #机器人控制 #世界模型 #VLA模型 #知识蒸馏 #AI智能体
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区