AutoLab-SAI-SJTU发布RoboFollow：诊断具身智能体指令跟随能力的基准测试

摘要：AutoLab-SAI-SJTU团队推出RoboFollow基准测试，旨在解决具身智能体指令跟随能力被高估的问题。该基准测试基于三个核心原则：场景高熵、层次化诊断协议以及混淆控制诊断。通过对九种视觉语言智能体（VLA）和工作记忆智能体（WAM）策略的评估，RoboFollow揭示了现有智能体在复杂指令跟随任务中的真实瓶颈，并指出现有改进方法难以弥补这一差距。这一研究为具身智能体的指令跟随能力提供了更严格的评估标准，并指出了未来研究的重要方向。

---

背景与挑战

现代具身智能体在指令跟随任务中取得了显著进展，但其实际表现往往被高估。造成这一现象的主要原因在于场景的低熵特性，即视觉场景中仅存在单一有效任务，导致语言指令变得冗余，智能体即使不依赖语言也能获得高分。

RoboFollow的创新点

RoboFollow基准测试通过以下三个核心原则解决了这一问题：

1. 高场景熵（High Scene Entropy）：每个训练场景支持多个运动学上不同的任务分支，使得仅依赖视觉信息无法完成任务，强制智能体依赖语言指令。
2. 层次化诊断协议（Hierarchical Diagnostic Protocol）：采用四级协议（L0-L3），逐步扰动视觉布局和语义信息，测试智能体在不同空间关系、属性、轨迹约束和逻辑下的行为一致性。
3. 混淆控制诊断（Confound-Controlled Diagnosis）：简化交互对象，限制动作范围，并分阶段报告意图和执行分数，以区分理解能力和运动执行能力。

实验结果与发现

对九种VLA和WAM策略的评估表明，尽管在L0级别表现良好，但在L1-L3级别，智能体的表现显著下降，且现有改进方法（如更强的视觉语言模型骨干、问答联合训练、LangForce和无分类器指导）均未能有效弥补这一差距。

行业影响与建议

RoboFollow的发布为具身智能体的指令跟随能力提供了更严格的评估标准，暴露了当前技术的真实瓶颈，并为未来研究指明了方向：

• 改进语言理解能力：开发更强大的语言模型，以更好地处理复杂指令。
• 多模态融合优化：提升视觉与语言的融合效率，确保智能体在复杂场景中能够有效利用语言信息。
• 强化学习策略改进：设计更有效的强化学习算法，以应对高熵场景中的复杂任务。

开发者建议

• 利用RoboFollow进行评估：建议开发者使用RoboFollow基准测试来评估和改进其智能体的指令跟随能力。
• 关注多模态交互：在设计智能体时，应更加注重多模态交互能力的提升。

技术亮点

• 创新性基准设计：通过高场景熵和层次化诊断协议，提供了更严格的评估标准。
• 混淆控制机制：有效区分理解能力和运动执行能力。
• 开源资源：代码和数据均已开源，方便研究人员和开发者使用。

结论

RoboFollow的发布标志着具身智能体指令跟随能力评估的重要进步，揭示了当前技术的真实瓶颈，并为未来研究提供了新的方向。

---

消息来源：Hugging Face Daily Papers (2026-09-22)

—— 完 ——

主题标签： #具身智能体 关注 #指令跟随 关注 #AI基准测试 关注 #多模态交互 关注 #强化学习 关注