arXiv 发布 ConflictVLA-Bench：评估 VLA 模型对前提冲突的行为响应

摘要：arXiv 平台发布了一项名为 ConflictVLA-Bench 的新基准测试平台，用于系统评估视觉-语言-动作（VLA）模型在面对任务前提冲突时的行为响应。该平台通过对比冲突场景与一致场景的输出，揭示了模型在处理无效前提时的行为模式，例如持续追求目标而导致的“失败坚持”现象。实验结果表明，现有 VLA 模型在面对无效前提时，任务完成率显著下降，且难以实现行为上的协调调整。这一研究为 VLA 模型的行为评估提供了新的视角，并为未来模型改进提供了数据支持。

---

背景与动机

视觉-语言-动作（VLA）模型在操作任务中表现出色，但在面对无效任务前提时的行为响应尚未得到充分研究。现有的前提冲突评估通常侧重于任务结果，而任务失败本身无法区分行为脱离与持续追求后执行错误之间的区别。我们将后者称为“失败坚持”。

ConflictVLA-Bench 的设计

为了研究这一现象，我们引入了 ConflictVLA-Bench。该基准测试平台将冲突场景的输出与一致场景的参考输出配对，评估结果和执行过程。ConflictVLA-Bench 基于 LIBERO 构建，包含 2,826 个提示条件下的冲突任务，涵盖四种冲突类型、四种结构配置和两种提示条件。

主要发现

1. 任务完成率下降：在所有八个 VLA 模型中，无效前提导致原始目标完成率至少下降 17.3 个百分点，对于 OpenVLA 模型，这一数字达到了 56.2 个百分点。
2. 失败坚持现象：即使模型在一致任务上成功，但在冲突任务上失败时，它们通常仍会继续接近原始目标，保持早期轨迹结构，并表现出有限的动作幅度抑制。
3. 行为调整不足：显式的前提检查并未一致地产生选择性和协调性的行为变化。

结论与影响

这些发现表明，仅凭终端失败无法确定行为脱离或拒绝，结果本身不足以评估 VLA 模型的行为表现。ConflictVLA-Bench 为 VLA 模型的行为评估提供了新的工具，并为未来模型改进提供了数据支持。

开发者建议

• 关注行为一致性：在设计 VLA 模型时，应考虑在面对冲突前提时的行为一致性。
• 引入更复杂的行为评估指标：除了任务结果，还应评估模型的行为过程。
• 利用 ConflictVLA-Bench 进行测试：建议开发者使用 ConflictVLA-Bench 来评估和改进其模型的行为响应能力。

---

消息来源：ArXiv AI (cs.AI) (2026-09-29)

—— 完 ——

主题标签： #VLA模型 #基准测试 #行为评估 #AI研究 #arXiv