您的位置首页 >人工智能 >

编程智能体指挥机器人该怎么考?EFE 具身考试1156 个任务、三种考法,把失败定位到每一步

核心结论先说清楚:给 "编程智能体(coding agent)指挥机器人" 出题的这套评测叫 Embodied First Exam(EFE,具身第一场考试),是一套统一、智能体原生的机器人评测框架。考卷规模是 1156 个任务、35 个任务套件、47 款机器人;每个任务最多按三种考法跑 —— 特权模式、标准模式、实时模式;评分不只给一个总分,而是把任务拆成一个个阶段,把每次失败定位到具体卡在哪一步。实测下来,最强智能体在 "开卷" 的特权模式下能解出大部分任务,但换到贴近真机条件的标准模式,成功率直接掉一大截,说明编程智能体离可靠上真机还有明显差距。下面把这套考试的卷子怎么出、三种考法怎么分级、失败怎么定位、主要结论是什么,分层讲明白。

一、这套考试要解决什么问题

过去机器人评测大多围绕视觉运动策略学习(VLA)来做,回答不了一个新问题:由大模型驱动的编程智能体,在物理世界的硬性约束下,能不能可靠地驾驭形态各异的机器人?EFE 就是冲着这个缺口来的,主要回答三件事:

  • 通用编程智能体到底能解决哪些类型的机器人任务;
  • 物理世界的各类约束会在多大程度上拉低最终表现;
  • 任务执行过程中,失败究竟发生在哪一个环节。

团队由 Manling Li(李曼玲)、Ruohan Zhang、Guanya Shi(石冠亚)牵头,合作者包括李飞飞、Dawn Song、Pieter Abbeel、Jiajun Wu、Yuke Zhu 等学者,论文 2026 年 11 月 9 日挂出在 arXiv(编号 2611.12177)。

二、考卷规模:1156 个任务、35 套件、47 款机器人

项目内容
任务总数1,156 个
任务套件35 个(26 个改编自已有机器人基准,9 个为新增套件)
机器人本体47 款,覆盖单臂、双臂、灵巧手、人形、移动操作平台、四足、空中机器人、肌肉骨骼机器人等九大类形态
任务类型不止抓取放置,还包括空间谜题、灵巧操作、多机器人交互、动态全身控制、跨仿真环境的工程任务(sim-to-sim)
核心难题子集456 道筛选后的高难度任务;其中 391 个同时具备特权与标准两种模式的对照数据

框架在工程上做到 "一条命令开考":换模型、换智能体工具链(harness)只需改两个参数;智能体用什么方式控制机器人也不做硬性限定,可以自己选实现路径。

三、智能体怎么控制机器人:三种实现路径

EFE 不规定智能体必须用哪套控制方式,由它自己决定,论文里归纳为三类:

  1. 直接控制(Direct control):智能体直接输出动作指令,一步一步指挥机器人动;
  2. 写代码控制(Code to control):智能体编写控制器程序,由程序驱动机器人执行;
  3. 训练策略(Train a policy):在仿真环境里训练出一套策略模型来完成任务;实际测试中也出现三种方式混用的情况。

四、三种考法:从开卷到闭卷逐级收紧

同一个任务最多可以在三种设定下跑,信息获取权限和环境规则逐级收紧,评分程序都跑在智能体无法干预的位置,避免自己改分数。

考法俗称智能体能拿到什么环境规则对应现实
特权模式 Privileged开卷可读取完整仿真器状态不限次重置,允许反复试错搜索最优解成功率近似性能上限,供训练对照
标准模式 Standard闭卷只有传感器观测默认不能重置环境最贴近真实机器人部署和测试条件
实时模式 Realtime闭卷加时压同标准模式,只有传感器观测智能体思考时环境照常运行,不暂停对应动态环境下的实时反应要求

成绩落差(论文口径):在 456 个核心任务上参评的 8 个智能体中,最强的 GPT-6 Astra(搭载 Codex 工具链)在标准模式下成功率约 34%;在同时具备两种模式的 391 个核心任务上,它特权模式解出 77%,标准模式只剩 30%。实时模式更难,约六成以上测试没有任何智能体能解出。中文媒体报道中也有按另一智能体口径统计的结果:特权模式约 80%、标准模式约 47%,不同模型、不同子集数字会有差异,但 "特权到标准大幅掉分" 这个趋势一致。

五、失败怎么定位到每一步:任务图 + 阶段标注

光判成功或失败说明不了问题,EFE 把每个任务拆成若干阶段(stage),每个阶段对应一次必须发生的环境变化。

1. 任务图怎么画

  • 以 "把番茄放进关着的冰箱" 为例,拆成三个阶段:冰箱门打开 → 番茄放进冰箱 → 冰箱重新关上;
  • 每个节点是一项环境变化,连线给出先后顺序;每个阶段标注类型(如打开、放置)和是否需要接触物体;
  • 共为 427 个核心任务各写一张任务图。

2. 失败阶段怎么标

  • 每次失败尝试最多记一个失败阶段:出现摔倒等无法挽回的事件,就记该事件所在阶段;否则记智能体最早犯下且没有纠正的错误所在阶段;
  • 标注本身也由编程智能体完成:GPT-6.1 Sol(Codex)写了全部任务图并标注大部分尝试,Claude Sonnet 5.5(Claude Code)标注其余尝试并复核全部标注;
  • 标注覆盖 427 个任务、857 项测试中的 8480 次尝试,其中失败 6027 次。

3. 定位后看出的几条规律

  • 失败扎堆在同一阶段:一个任务上的失败往往集中在同一个阶段,通常是任务的第一阶段;特权和标准两种设定下,最容易出错的阶段重合度也较高,说明任务本身的固有难度是失败主因之一。
  • 哪类阶段最容易翻车:需要改变物体材质、或需要移动机器人本体的阶段失败率最高;需要精确对准的步骤,换到标准模式后明显更容易出错。
  • 强弱智能体的失败位置不同:弱智能体远更可能在完成必要接触之前就失败;三个最强智能体在标准模式下解出的测试集并不完全重合,存在互补。
  • 换工具链影响不小:切换 harness 可以让同一个模型的成功率变化约 10 个百分点。
  • 重置比 "看清状态" 更管用:对照实验里,补上无限次重置比补上精确物体状态更能缩小特权与标准之间的差距;在精细操作阶段,光有精确状态不够,还得能反复试。

六、怎么跑这套评测(使用流程)

  1. 接入智能体:在 EFE 基础设施里指定模型和工具链,一条命令即可拉起评测;
  2. 选任务与套件:从 1156 个任务中选子集,核心难题用 456 道高难度任务;
  3. 选考法:先跑特权模式看性能上限,再跑标准模式贴近真机条件,动态任务加跑实时模式;
  4. 智能体自选控制路径:直接下指令、写控制器程序或训练策略,框架不干预;
  5. 自动评分:评分程序在智能体不可干预的环境中判定每次尝试是否成功;
  6. 阶段归因:对照任务图标注失败阶段,跨智能体、跨设定、跨阶段类型比较,定位卡点。

七、结论

EFE 第一次给 "编程智能体指挥机器人" 建立了系统的统一考卷:1156 个任务覆盖多形态机器人和多类操作场景,三种考法把信息权限和环境压力逐级收紧,阶段化标注把失败从 "总分不及格" 细化到 "卡在哪一步"。目前的实测结果是:智能体在看得到完整仿真状态、能反复重置的条件下表现尚可,一旦只靠传感器、不能暂停重来,成功率就明显下滑,尤其在精密对准、本体移动和动态反应环节短板突出。这套框架的价值不在于给某款模型排名,而在于把 "离真机还有多远、远在哪一步" 变成可量化、可对比的指标。

【相关 FAQ】

问题 1:EFE 这套编程智能体机器人评测为什么要出 1156 个任务?三种考法分别考什么?

回答 1:EFE(Embodied First Exam)用 1156 个任务、35 个套件、47 款机器人,覆盖抓取放置之外的空间谜题、灵巧操作、多机交互、动态全身控制等场景,目的是全面考察编程智能体指挥机器人的能力。三种考法分别是:特权模式(可读完整仿真状态、不限次重置,相当于开卷,看性能上限)、标准模式(只有传感器观测、默认不能重置,贴近真机)、实时模式(标准模式基础上思考时环境照常运行,考动态反应)。

问题 2:在 1156 个任务的评测里,最强编程智能体成绩怎么样?特权模式和标准模式差距有多大?

回答 2:论文在 456 个核心任务上测了 8 个智能体,最强的 GPT-6 Astra(Codex 工具链)标准模式成功率约 34%;在 391 个双模式对照任务上,它特权模式解出 77%,标准模式只剩 30%。也就是说同一份考卷,从开卷换到闭卷,成功率掉了约 47 个百分点,实时模式下大部分测试仍无人能解,说明编程智能体在真机约束下还有很大提升空间。

问题 3:EFE 说 "把失败定位到每一步" 具体是怎么做的?1156 个任务里每个任务都拆阶段吗?

回答 3:做法是给核心任务画任务图,把任务拆成若干阶段,每个阶段对应一次必须发生的环境变化(如开门、放物体、关门),并标注阶段类型和是否需要接触;每次失败尝试只记一个失败阶段 —— 出了不可挽回的事故就记事故阶段,否则记最早犯错且没纠正的阶段。阶段标注覆盖 427 个核心任务、857 项测试的 8480 次尝试(失败 6027 次),并非 1156 个任务全部逐阶段标注。

问题 4:编程智能体在 EFE 三种考法里最容易在哪类阶段失败?强弱智能体失败位置有区别吗?

回答 4:统计显示失败往往扎堆在同一个阶段,通常是任务第一阶段;改变物体材质、移动机器人本体的阶段失败率最高,需要精确对准的步骤在标准模式下最容易翻车。强弱智能体的区别在于:弱智能体更可能在完成必要接触之前就失败,而强智能体更多卡在后续精细操作阶段;三个最强智能体解出的任务集还不完全重合,存在互补。

问题 5:编程智能体指挥机器人时,可以自己选择控制方式吗?EFE 支持哪几种实现路径?

回答 5:可以。EFE 是智能体原生设计,不限制控制方式,编程智能体可在三条路径里自选:直接控制(直接输出动作指令)、写代码控制(编写控制器程序驱动机器人)、训练策略(在仿真里训练策略模型),也可以混用。框架一条命令即可接入不同模型和工具链,换模型、换 harness 只需改两个参数;对照实验还显示,切换工具链可能让同一模型成功率相差约 10 个百分点。

【参考资料】

  • [2026-11-22](编程智能体指挥机器人,该怎么考?1156 个任务、三种考法,把失败定位到每一步)新浪财经(今日头条转载)
  • [2026-11-19](Fable 5.2 开卷 80%,闭卷仅 47%! 最强编程智能体遇上机器人难题)腾讯新闻
  • [2026-11-15](李曼玲、石冠亚联合李飞飞:首个 Coding Agent 机器人评测诞生)深蓝学院
  • [2026-11-11](华人科学家李曼玲团队新作:coding agent 的第一场具身考试)36 氪
  • [2026-11-09](Embodied First Exam: A Unified Evaluation Framework for Coding Agents in Robotics)arXiv

【免责声明】

本文依据 EFE 论文预印本及公开媒体报道整理,评测规模、任务数量、成功率、失败阶段统计等数据来自论文不同子集与不同版本口径,不同信源在智能体排名、成功率数值上可能存在差异;文中成绩均为仿真环境评测结果,不代表真实机器人部署表现,也不构成对任何模型或产品的推荐。论文为预印本,结论与数据可能随后续版本更新调整,具体细节请以 arXiv 原文及官方发布为准。

今日大家都在搜的词: