Embodied First Exam：编码智能体控制机器人的全景评测

摘要：Embodied First Exam 试图检验编码智能体能否在物理约束下可靠控制机器人。框架覆盖47种机器人、35个任务套件和1,156项任务，允许智能体直接控制、编写控制代码或训练策略，并设置标准、实时和特权三种环境条件。八款智能体在456项核心任务上的最高标准模式成功率仅为34%，表明当前系统距离可部署的具身代码智能体仍很远。

---

核心发现：会写代码不等于能控制机器人

Embodied First Exam 将编码智能体带入机器人控制场景，要求智能体根据传感器观测选择并实现控制方案，而不是沿用传统机器人基准中预训练视觉运动策略的固定范式。评测包含 1,156项任务、35个任务套件和47种机器人，其中9个新套件进一步覆盖空间谜题、灵巧操作、多机器人交互、动态全身控制和仿真到仿真工程迁移。

在456项核心任务上，八款智能体中表现最强的 GPT-6 Astra in Codex，在标准模式下也只取得 34%成功率。这意味着编码能力、工具调用和代码生成尚不能自动转化为稳定的物理闭环控制能力。

三种评测条件测量不同能力瓶颈

框架允许每项任务在最多三种条件下运行：

• Standard Setting：智能体只能看到传感器观测，且默认不能重置环境，最接近真实部署条件。
• Realtime Setting：环境在智能体推理期间持续运行，用来测量计算延迟和环境动态变化对执行的影响。
• Privileged Setting：智能体可读取完整模拟器状态并无限重置，能够通过搜索逼近“Oracle”解；其成绩主要反映问题可达上限，而非实际部署能力。

这一分层设计比单一成功率更有工程价值。标准模式暴露感知、规划和执行误差；实时模式加入推理时延与状态漂移；特权模式则有助于判断失败究竟来自任务本身不可解，还是来自观测受限和在线探索不足。三种结果不能混为同一个“机器人能力分数”。

智能体可以自主选择控制路径

与传统基准不同，Embodied First Exam 不强制智能体使用某一种控制器。它可以采用三种路线：

1. 直接控制：调用环境提供的动作接口；
2. 代码控制：编写控制器或状态估计与动作处理逻辑；
3. 训练策略：生成并执行用于学习动作策略的训练流程。

这种设计把评测对象从单一策略提升为完整的智能体系统。一个智能体可能擅长生成控制代码，却缺少状态估计能力；也可能具备训练能力，但受限于仿真器接口、算力预算或奖励设计。将这些路径放在同一框架内，可以识别真正的瓶颈究竟位于规划、代码、训练还是闭环执行。

工程机制：物理约束如何进入评测闭环

编码智能体控制机器人通常包含一条长链路：读取视觉、深度或本体感知数据，估计对象与自身状态，生成控制程序或策略，在模拟器中执行，再根据反馈修正错误。任一环节的误差都会随控制周期传播。

若智能体每个决策周期耗时为 (T_{agent})，环境推进耗时为 (T_{sim})，单周期延迟近似为：

[ T_{cycle} \approx T_{sense} + T_{infer} + T_{actuate} ]

在实时模式中，推理期间环境不会暂停，因此有效控制频率约为：

[ f_{control} \approx \frac{1}{T_{cycle}} ]

当 (T_{agent}) 超过任务可接受的动作周期，智能体即使生成了正确代码，也可能因为控制滞后而失败。双臂操作、全身控制和多机器人协作对此尤其敏感，因为动作需要更高频率的反馈与安全停止机制。

另一个关键成本来自在线探索。标准条件禁止频繁重置，智能体必须承担错误动作的代价；在物理机器人上，这还涉及碰撞、掉落、磨损和不可逆状态。特权条件允许无限重置，其巨大算力消耗和搜索时间不应被计入同等成本的部署成绩。

失败阶段标注比总成功率更有用

论文对失败尝试所处的阶段进行标注，并跨智能体、评测条件和阶段类别进行比较。这样的错误分解可以区分：

• 未理解任务或未建立正确状态表示；
• 计划或生成的控制代码存在逻辑错误；
• 策略训练没有收敛或奖励发生投机；
• 控制参数、频率或稳定性不合适；
• 环境动态变化后未能及时恢复。

这类诊断比单一总分更适合研发团队。比如，观测理解错误应优先改进感知与状态估计，控制代码错误需要加强执行测试和程序验证，而策略失败则涉及数据覆盖、奖励设计与训练预算。不同失效阶段需要完全不同的工程投入。

基准结果的局限与评测风险

34%的最高标准成功率说明现有系统仍不成熟，但不能直接解释为“机器人控制技术只有34%成熟度”。该结果高度依赖任务分布、机器人套件、动作空间、传感配置、超时限制、提示与工具接口，以及八款智能体的具体配置。公开摘要也没有给出完整置信区间、每项任务成本、跨机器人泛化和重复试验分布。

此外，三种环境条件虽然能帮助诊断，但可能产生评测协议本身的泄漏：智能体可能根据固定任务模板、模拟器 API 或套件特征编写专用代码，而不是形成可泛化的控制能力。后续版本需要提供更严格的未见任务、隐藏状态结构、跨模拟器迁移和防止任务专用化的评测设计。

开发者落地建议

将该框架用于研发时，应分别记录策略成功率、状态估计误差、动作安全违规、恢复次数、推理时延、Token与仿真成本，而不能只报告任务完成率。

工程团队可以分三步接入：先在特权模式下验证问题是否可解并建立搜索上界；再在标准模式下检查感知、规划和执行错误；最后在实时模式下压测推理延迟与动态环境中的控制稳定性。训练策略时，应保留直接控制与代码控制作为对照，以判断额外训练成本是否真正带来收益。

从安全角度看，标准模式禁止环境重置并不等于可以允许真实机器人无保护执行。上线前仍需设置碰撞检测、力矩上限、急停、隔离区域和人工审批。尤其是灵巧操作、全身控制和动态多机器人任务，仿真中的低失败率不能替代硬件在环验证。

Embodied First Exam 的真正价值不是宣布某个智能体“最强”，而是提供了一套让编码智能体接受物理世界考试的标准框架。它把机器人评测从固定策略成功率推进到完整智能体工程能力，为比较代码生成、训练能力、在线恢复和实时控制建立了更贴近部署的坐标。

---

消息来源：Hugging Face Daily Papers (2026-11-09)

—— 完 ——

主题标签： #具身智能 关注 #编码智能体 关注 #机器人控制 关注 #智能体评测 关注 #仿真基准 关注