华人科学家李曼玲团队发布最新研究成果,给代码智能体(coding agent)设计并落地了第一场专门的具身考试,这套评测不再只看模型能不能写出静态可运行代码,而是要求 coding agent 在虚拟具身环境里面读懂场景、规划动作、编写控制代码,通过代码指挥虚拟智能体完成一系列物理空间任务,用来检验代码智能体把代码转化为现实空间操作的能力,补齐传统代码基准测试缺少的具身交互短板,也给后续兼具编码能力与空间执行能力的智能体提供了一套全新的评估标尺。
为什么要给 coding agent 做一场具身考试
过去评测 coding agent,大多使用代码题、算法题库,输入需求,输出代码,只要能够通过单元测试就算合格。这类任务全部停留在纯文本、纯软件层面,不用考虑空间约束、环境反馈、动作容错。
但未来很多智能体,需要写代码去操控机器人、虚拟实体,代码能不能跑,只是第一关;代码指挥出来的动作会不会撞墙、能不能按顺序完成目标、遇到环境变化能不能重新写代码调整方案,这些很难靠普通代码考题测出来。
李曼玲团队这次的具身考试,就是把编码能力和具身执行绑定在一起。智能体要观察环境,自主决定该写什么控制代码,拿到执行反馈之后迭代修改代码,更贴近真实世界里机器人开发的工作模式。
coding agent 参加这场具身考试的完整流程
- 向 coding agent 下达最终任务目标,同时开放虚拟具身环境的观察接口;
- coding agent 读取环境状态,理解空间布局、物体位置、可用动作接口;
- 自主规划任务路线,编写对应的控制代码,下发给虚拟具身智能体;
- 虚拟实体执行代码,返回执行结果、报错、环境变化等反馈;
- 如果任务失败或者动作出错,coding agent 根据反馈改写、调试代码;
- 持续循环编码、执行、调试,直到完成目标或者达到最大尝试次数;
- 研究团队根据成功率、代码修改次数、完成耗时、鲁棒性打出综合分数。
传统代码评测和这场具身考试对比
| 评测类型 | 核心考核点 | 是否有环境反馈 | 典型局限 |
|---|---|---|---|
| 常规代码基准 | 语法、算法、单元测试通过率 | 无,或者只有静态用例 | 无法验证代码在物理场景是否可用 |
| coding agent 具身考试 | 编码 + 空间规划 + 闭环调试 | 实时具身环境反馈 | 环境搭建成本高,任务难度更难控制 |
这项研究带来的方向变化
在这套基准出现之前,大家很容易被高代码通过率迷惑,误以为 coding agent 已经足够强大。而具身考试会暴露出很多问题:智能体写出语法正确的代码,但动作逻辑混乱,不会根据现场反馈改代码。
它不会直接替代现有的代码评测集,而是作为补充。后续想要做机器人编码、自主操控智能体的研究人员,可以用这套考试横向对比不同 coding agent 的闭环能力,推动模型向着 “写代码去改变物理环境” 这个方向迭代。
整体来看,这场具身考试代表编码智能体评测思路的转向:从 “写出能跑的代码”,走向 “写出可以在环境里办成事的代码”。
【常见问题】
问题 1:李曼玲团队新作里面这场 coding agent 的具身考试,和普通代码刷题评测差别在哪?
回答 1:coding agent 的具身考试要求智能体编写代码并且指挥虚拟实体在空间里行动,依靠环境反馈反复调代码;普通代码刷题只校验代码静态用例,不存在具身交互环节。
问题 2:通过这场具身考试的 coding agent,是不是就可以直接用来操控实体机器人?
回答 2:还不行,这场 coding agent 的具身考试目前在虚拟仿真环境开展,真实机器人会有传感器噪声、机械误差等额外干扰,仿真里面合格不代表真机稳定可用。
问题 3:这套针对 coding agent 的具身考试,会不会成为以后行业通用的评测标准?
回答 3:目前只是李曼玲团队发布的学术新作,想要成为通用标准,还需要更多研究者采纳、扩充任务集、统一评估指标。
【参考资料】
[2026-11-14](李曼玲团队新作:为 coding agent 设立首场具身考试)arXiv
[2026-11-14](华人团队提出新基准,测试代码智能体的具身闭环能力)机器之心
[2026-11-14](具身编码新评测:让 coding agent 在仿真环境动手完成任务)AI 科技评论
【免责声明】
本资讯基于预印本论文以及学术媒体报道整理,这场 coding agent 的具身考试属于前沿学术研究,还未完成大规模行业验证;相关基准、任务集、评测指标后续有可能随论文更新调整。
