Embodied First Exam 是专门面向编程智能体指挥机器人的全新评测基准,整套基准一共包含 35 个任务套件、合计 1156 个细分任务,覆盖 47 款不同机器人,同时设计特权、标准、实时三种独立评测模式,不只是简单判定任务最终成功或者失败,还能沿着执行轨迹回溯,把失败精准定位到出错的那一步动作,解决以往机器人智能体评测只能看最终结果、找不到中间故障环节的痛点,方便研究者区分是感知出错、代码逻辑错误、运动控制偏差还是时序配合问题。传统机器人智能体评测大多只看最终任务有没有做完,就算任务失败,也很难分清是哪一步出问题,而且评测环境信息开放程度不统一,不同模型之间的测试结果没法横向对比,这套基准把评测条件拆成三档,逐级贴近真实机器人的部署限制,同时全程记录每一步动作、环境状态、传感器观测、代码执行记录,自动标记第一个不可恢复的错误节点,方便科研人员对比不同编程智能体的短板。
三种评测考法介绍
- 特权模式(Privileged):相当于开卷考试,智能体可以读取仿真环境全部底层状态,支持不限次数重置环境反复试错,用来测出这个智能体的理论性能上限
- 标准模式(Standard):贴近真实机器人,智能体只能拿到传感器观测数据,默认不能随意重置环境,是最有参考价值的基准测试
- 实时模式(Realtime):在标准模式基础上增加时间约束,智能体思考、写代码的过程中仿真环境持续运行,不会暂停,模拟真实机器人连续动态场景
任务套件覆盖方向
整套 1156 个任务分成 35 个套件,覆盖的机器人操作类型十分丰富
- 经典抓取放置任务
- 灵巧手精细操作:翻书、开盖、穿线、组装小件
- 空间谜题、多机器人协同交互
- 人形机器人全身动态控制、运动对抗
- 工具绘画、变形物体操控、跨仿真平台工程任务
三种评测模式对比表
| 项目 | 特权模式 | 标准模式 | 实时模式 |
|---|---|---|---|
| 信息权限 | 完整仿真状态,全量信息 | 仅传感器观测数据 | 仅传感器观测数据 |
| 环境重置 | 不限次数重置 | 一般不允许重置 | 不允许重置 |
| 环境时序 | 可暂停,方便调试 | 环境随动作推进 | 环境持续运行,思考不暂停 |
| 定位目标 | 找理论最优解,上限参考 | 贴近真实机器人部署 | 动态时序场景下的鲁棒性 |
| 难度 | 最低 | 中等 | 最高 |
失败单步定位的运行流程
- 给定自然语言目标指令,编程智能体生成控制代码,下发给仿真机器人执行
- 评测框架持续记录整条执行轨迹:每一步动作、传感器返回值、环境状态变化、代码报错信息
- 一旦任务失败,框架沿着轨迹逐段校验约束条件,识别第一个导致后续无法完成目标的关键步骤
- 输出失败报告,标注出错步骤编号、失败类型(感知错误 / 代码 bug / 运动偏差 / 时序超时)
- 同一个任务在三种考法下分别跑一遍,对比智能体在不同信息约束下,失败的位置是否发生变化
评测核心价值
这套基准可以直接横向对比不同编程智能体,很多智能体在特权模式下成功率很高,切换到标准、实时模式之后,会在精准对位、时序配合类步骤大量出错,通过单步定位,研究者可以针对性优化智能体的感知、代码生成、运动规划模块,而不是只优化最终任务成功率。
【相关 FAQ】
问题 1:这套用来考编程智能体指挥机器人的 Embodied First Exam,一共有多少任务?
回答 1:Embodied First Exam 评测基准包含 35 个任务套件,一共 1156 个任务,搭配三种考法,支持把编程智能体操控机器人的失败定位到单步。
问题 2:Embodied First Exam 三种考法里面,哪一种最贴近真实机器人使用场景?
回答 2:标准模式最贴近真实机器人,编程智能体只能拿到传感器观测,不能随意重置环境;实时模式增加时序约束,难度更高;特权模式是开卷,用来测上限。
问题 3:Embodied First Exam 怎么做到把编程智能体操控机器人的失败定位到每一步?
回答 3:评测框架全程记录整条执行轨迹,包含每一步动作、传感器数据、环境状态,任务失败时回溯查找第一个不可恢复的错误步骤,标记失败位置与原因。
问题 4:Embodied First Exam 里面的编程智能体,是直接控制真实机器人吗?
回答 4:现阶段 Embodied First Exam 在仿真环境内完成评测,用来测试编程智能体指挥机器人,这套基准的目标是对齐真实机器人约束,后续可以迁移到实体机器人测试。
【参考资料】
[2026-11-19](Fable 5.2 开卷 80%,闭卷仅 47%! 最强编程智能体遇上机器人难题)腾讯新闻
[2026-11-11](华人科学家李曼玲团队新作:coding agent 的第一场具身考试)36 氪
[2026-11-11](Embodied First Exam)arXiv
【免责声明】
本文为 Embodied First Exam 机器人智能体评测基准的技术解读,所有测试均在仿真环境内完成;不同编程智能体在三种考法下的成功率、失败步骤会随模型版本、提示词策略变化;该基准为科研测试工具,不代表可以直接用于工业机器人编程智能体验收标准。
