Hugging Face发布PerturBot框架：解决视觉-语言-动作模型中的捷径依赖问题

摘要：Hugging Face推出PerturBot框架，旨在解决视觉-语言-动作（VLA）模型中存在的捷径依赖问题。PerturBot通过任务保留的手腕视角扰动、决策相关字幕增强指令以及随机和失败轨迹段的重标注，使任务相关证据更容易被利用，同时削弱捷径依赖。此外，PerturBot引入了GroundingFscore作为离线评估指标，用于诊断模型对捷径的依赖程度，从而帮助开发者更好地理解模型在复杂任务中的表现。

---

PerturBot框架：解决VLA模型中的捷径依赖问题

Hugging Face近日发布了一款名为PerturBot的新框架，旨在解决视觉-语言-动作（VLA）模型中存在的捷径依赖问题。

核心问题

VLA模型在完成复杂任务时，可能会依赖捷径（shortcut），即模型通过视觉、语言或动作中的规律性线索来预测专家行为，而不是依赖任务本身所需的核心证据。这种依赖可能导致模型在面对新情况时表现不佳。

PerturBot的解决方案

PerturBot通过以下方式解决上述问题：

1. 任务保留的手腕视角扰动：通过扰动手腕视角的输入数据，使模型更关注任务相关的信息。
2. 决策相关字幕增强指令：在指令中增加决策相关的字幕信息，帮助模型更好地理解任务目标。
3. 随机和失败轨迹段的重标注：将随机和失败的轨迹段重标注为包含行为信息的样本，使模型能够从失败中学习。

GroundingFscore：评估捷径依赖

PerturBot还引入了GroundingFscore作为离线评估指标，用于诊断模型对捷径的依赖程度。该指标通过评估模型在任务中的表现，揭示其是否依赖于任务证据而非捷径，从而帮助开发者更好地理解模型的行为。

技术亮点

• 任务保留扰动：在不改变任务目标的前提下，通过扰动输入数据来增强模型的鲁棒性。
• 决策相关字幕：通过增强指令中的决策相关信息，提高模型对任务的理解能力。
• 重标注机制：通过重标注失败轨迹段，使模型能够从错误中学习。

行业影响

PerturBot框架的推出，为VLA模型的研究和应用提供了新的思路和方法。通过解决捷径依赖问题，PerturBot有望提升模型在复杂任务中的表现，推动AI技术在机器人、自动驾驶和智能家居等领域的应用。

开发者建议

• 应用PerturBot框架：开发者可以尝试将PerturBot框架应用于现有的VLA模型中，以提升模型的鲁棒性和任务理解能力。
• 关注GroundingFscore：在模型评估中引入GroundingFscore，以更好地理解模型对捷径的依赖程度。
• 探索更多扰动方法：进一步探索其他类型的扰动方法，以增强模型的泛化能力。

---

消息来源：Hugging Face Daily Papers (2026-10-03)

—— 完 ——

主题标签： #Hugging Face 关注 #PerturBot 关注 #VLA模型 关注 #捷径依赖 关注 #AI安全 关注