Hugging Face发布PAIR框架：革新视觉-语言-动作模型的感知与动作桥接机制

摘要：Hugging Face推出了一种名为PAIR的新框架，旨在解决视觉-语言-动作（VLA）模型中感知与动作之间的转换问题。PAIR通过学习共享的感知-动作表示，显著提升了模型在连续动作生成任务中的表现。在多个基准测试中，PAIR框架的应用使OpenVLA-OFT和VLA-Adapter模型的性能大幅提升，例如在LIBERO-Plus数据集上，VLA-Adapter的成功率从59.1%提升至64.2%。该研究为机器人操作和智能体决策提供了更高效的感知-动作桥接机制。

---

背景与动机

视觉-语言-动作（VLA）模型旨在将视觉观察和语言指令映射到连续的机器人动作中。然而，许多现有的VLA模型在感知表示与动作生成之间的转换过程中存在不足，主要依赖最终的动作预测损失进行监督，而忽略了中间表示的优化。

PAIR框架的核心机制

PAIR框架通过以下步骤实现感知与动作的桥接：

1. Masked Action Autoencoder（掩码动作自编码器）：在训练过程中，将专家动作块编码为与时间轴对齐的动作潜码（Action Latent Tokens）。
2. Bridge Module（桥接模块）：从当前的视觉-语言表示中提取与任务相关的特征。
3. Bridge Tokens（桥接码）：将提取的特征与动作潜码对齐，形成保留任务信息并捕捉专家动作结构的桥接码。
4. Action Token Injection（动作码注入）：将桥接码投影到动作码空间，并注入到初始的动作码中，为动作专家的细化提供一个准备好的起点。

在推理阶段，自编码器被移除，桥接码仅从当前的观察和指令生成。

实验结果

PAIR框架在多个基准测试中表现出色：

• 在LIBERO-Plus数据集上，PAIR将VLA-Adapter的成功率从59.1%提升至64.2%。
• 在CALVIN ABC-D数据集上，PAIR将VLA-Adapter的平均完成序列长度从4.42提升至4.53。
• 在七个现实世界的任务中，PAIR将OpenVLA-OFT的成功率从51.4%提升至65.0%。

此外，表征分析表明，桥接码在动作专家细化之前保留了任务信息，同时使连续动作信息更易于访问。这些结果支持了共享中间表示作为感知与动作之间有用接口的观点。

工程权衡与未来方向

PAIR框架通过引入桥接码，显著提升了VLA模型在复杂任务中的表现。然而，该方法也增加了模型的复杂度和计算开销。未来研究方向包括优化桥接码的生成过程，以及探索更高效的特征提取和表示对齐方法。

开发者建议

对于机器人操作和智能体决策领域的开发者，PAIR框架提供了一种新的思路来提升VLA模型的性能。建议在以下场景中尝试应用PAIR：

• 需要高精度连续动作生成的机器人任务。
• 涉及复杂感知和动作转换的智能体应用。
• 希望在现有VLA模型基础上进行性能提升的项目。

---

消息来源：Hugging Face Daily Papers (2026-10-06)

—— 完 ——

主题标签： #Hugging Face 关注 #VLA模型 关注 #感知与动作桥接 关注 #PAIR框架 关注 #机器人操作 关注