机器人基础模型新突破：潜在接口训练框架提升泛化能力

摘要：机器人基础模型在训练分布内表现优异，但在视觉分布发生变化时性能会显著下降。Hugging Face 提出的潜在接口训练（Latent Interface Training, LIT）框架通过两阶段策略有效解决了这一问题。LIT 首先在无图像条件下建立空间目标驱动的动作先验，然后通过姿态监督的潜在接口约束视觉条件，从而在保留任务相关空间信息的同时减少视觉捷径效应。在多个视觉-语言-动作和世界-动作架构上的实验表明，LIT 显著提升了模型在复杂任务中的泛化能力，并在真实世界测试中表现出色。

---

机器人基础模型的新挑战与解决方案

背景与挑战

机器人基础模型在处理视觉-语言-动作任务时，通常依赖于预训练的视觉表示来生成动作。然而，当视觉分布发生变化时，这些模型容易受到任务无关视觉线索的影响，从而导致性能下降。这种视觉捷径效应（Vision-Action Shortcut）限制了模型在真实世界中的泛化能力。

LIT 框架的提出

为了解决这一问题，Hugging Face 提出了潜在接口训练（Latent Interface Training, LIT）框架。该框架采用两阶段策略：

1. 第一阶段：无图像的动作先验训练

   • 在无图像条件下，训练动作专家生成基于语言、机器人状态和每个示范动作块的终端 SE(3) 末端执行器姿态的动作块。
   • 这一阶段旨在学习独立于视觉线索的目标导向动作生成。

2. 第二阶段：潜在接口的视觉条件约束

   • 引入一个潜在接口，该接口聚合视觉和语义表示，并作为预训练动作专家的唯一视觉条件路径。
   • 通过对终端姿态的重建进行监督，鼓励潜在接口保留对动作生成所需的目标相关空间信息。

实验结果

LIT 在四个视觉-语言-动作和世界-动作架构（Pi0.5、MolmoAct2、FAST-WAM 和 ImageWAM）上进行了测试，结果显示：

• LIBERO-Plus 成功率提升：整体成功率提高了 3.87-10.70 个百分点。
• LIBERO 平均成功率保持或提升：在多个任务中表现出色。
• 真实世界测试：在未见过的相机配置、光照变化和干扰物的情况下，三个任务的平均成功率提高了 13.30-16.70 个百分点。

行业影响与开发者建议

LIT 框架为机器人基础模型的泛化能力提供了新的思路，尤其在处理复杂视觉任务时表现出色。开发者可以借鉴 LIT 的两阶段策略，在构建 AI 应用时更好地平衡视觉信息的利用与任务目标的实现。此外，LIT 的成功也表明，跨模态信息的有效整合是提升 AI 模型泛化能力的关键。

未来展望

随着 LIT 框架的进一步优化和扩展，未来机器人基础模型在真实世界中的应用将更加广泛和可靠。开发者可以期待更多类似 LIT 的创新方法，以应对 AI 模型在复杂环境中的挑战。

---

消息来源：Hugging Face Daily Papers (2026-09-11)

—— 完 ——

主题标签： #机器人 关注 #基础模型 关注 #视觉-语言-动作 关注 #泛化能力 关注 #潜在接口训练 关注