您的位置首页 >科技要闻 >

编程智能体指挥机器人,该怎么考?1156个任务、三种考法,把失败定位到每一步

Embodied First Exam 是专门面向编程智能体指挥机器人的全新评测基准,整套基准一共包含 35 个任务套件、合计 1156 个细分任务,覆盖 47 款不同机器人,同时设计特权、标准、实时三种独立评测模式,不只是简单判定任务最终成功或者失败,还能沿着执行轨迹回溯,把失败精准定位到出错的那一步动作,解决以往机器人智能体评测只能看最终结果、找不到中间故障环节的痛点,方便研究者区分是感知出错、代码逻辑错误、运动控制偏差还是时序配合问题。传统机器人智能体评测大多只看最终任务有没有做完,就算任务失败,也很难分清是哪一步出问题,而且评测环境信息开放程度不统一,不同模型之间的测试结果没法横向对比,这套基准把评测条件拆成三档,逐级贴近真实机器人的部署限制,同时全程记录每一步动作、环境状态、传感器观测、代码执行记录,自动标记第一个不可恢复的错误节点,方便科研人员对比不同编程智能体的短板。

三种评测考法介绍

  • 特权模式(Privileged):相当于开卷考试,智能体可以读取仿真环境全部底层状态,支持不限次数重置环境反复试错,用来测出这个智能体的理论性能上限
  • 标准模式(Standard):贴近真实机器人,智能体只能拿到传感器观测数据,默认不能随意重置环境,是最有参考价值的基准测试
  • 实时模式(Realtime):在标准模式基础上增加时间约束,智能体思考、写代码的过程中仿真环境持续运行,不会暂停,模拟真实机器人连续动态场景

任务套件覆盖方向

整套 1156 个任务分成 35 个套件,覆盖的机器人操作类型十分丰富

  • 经典抓取放置任务
  • 灵巧手精细操作:翻书、开盖、穿线、组装小件
  • 空间谜题、多机器人协同交互
  • 人形机器人全身动态控制、运动对抗
  • 工具绘画、变形物体操控、跨仿真平台工程任务

三种评测模式对比表

项目特权模式标准模式实时模式
信息权限完整仿真状态,全量信息仅传感器观测数据仅传感器观测数据
环境重置不限次数重置一般不允许重置不允许重置
环境时序可暂停,方便调试环境随动作推进环境持续运行,思考不暂停
定位目标找理论最优解,上限参考贴近真实机器人部署动态时序场景下的鲁棒性
难度最低中等最高

失败单步定位的运行流程

  1. 给定自然语言目标指令,编程智能体生成控制代码,下发给仿真机器人执行
  2. 评测框架持续记录整条执行轨迹:每一步动作、传感器返回值、环境状态变化、代码报错信息
  3. 一旦任务失败,框架沿着轨迹逐段校验约束条件,识别第一个导致后续无法完成目标的关键步骤
  4. 输出失败报告,标注出错步骤编号、失败类型(感知错误 / 代码 bug / 运动偏差 / 时序超时)
  5. 同一个任务在三种考法下分别跑一遍,对比智能体在不同信息约束下,失败的位置是否发生变化

评测核心价值

这套基准可以直接横向对比不同编程智能体,很多智能体在特权模式下成功率很高,切换到标准、实时模式之后,会在精准对位、时序配合类步骤大量出错,通过单步定位,研究者可以针对性优化智能体的感知、代码生成、运动规划模块,而不是只优化最终任务成功率。

【相关 FAQ】

问题 1:这套用来考编程智能体指挥机器人的 Embodied First Exam,一共有多少任务?

回答 1:Embodied First Exam 评测基准包含 35 个任务套件,一共 1156 个任务,搭配三种考法,支持把编程智能体操控机器人的失败定位到单步。

问题 2:Embodied First Exam 三种考法里面,哪一种最贴近真实机器人使用场景?

回答 2:标准模式最贴近真实机器人,编程智能体只能拿到传感器观测,不能随意重置环境;实时模式增加时序约束,难度更高;特权模式是开卷,用来测上限。

问题 3:Embodied First Exam 怎么做到把编程智能体操控机器人的失败定位到每一步?

回答 3:评测框架全程记录整条执行轨迹,包含每一步动作、传感器数据、环境状态,任务失败时回溯查找第一个不可恢复的错误步骤,标记失败位置与原因。

问题 4:Embodied First Exam 里面的编程智能体,是直接控制真实机器人吗?

回答 4:现阶段 Embodied First Exam 在仿真环境内完成评测,用来测试编程智能体指挥机器人,这套基准的目标是对齐真实机器人约束,后续可以迁移到实体机器人测试。

【参考资料】

[2026-11-19](Fable 5.2 开卷 80%,闭卷仅 47%! 最强编程智能体遇上机器人难题)腾讯新闻

[2026-11-11](华人科学家李曼玲团队新作:coding agent 的第一场具身考试)36 氪

[2026-11-11](Embodied First Exam)arXiv

【免责声明】

本文为 Embodied First Exam 机器人智能体评测基准的技术解读,所有测试均在仿真环境内完成;不同编程智能体在三种考法下的成功率、失败步骤会随模型版本、提示词策略变化;该基准为科研测试工具,不代表可以直接用于工业机器人编程智能体验收标准。

今日大家都在搜的词: