您的位置首页 >人工智能 >

AI 职场接手队友代码,26 个模拟同事场景下完整任务交付率不足 8%

这项 SWE-CoWork 基准测试得出的核心结果很直白,就算是目前性能靠前的 AI 编码智能体,放到有 26 个模拟同事的职场环境里接盘别人遗留代码,全部要求都达标的完整任务交付率不到 8%。其中表现最好的 GPT-6 Astra 完整交付率 7.92%,Claude Opus 5.5 只有 6.93%,其余 9 款模型的完整交付率最高还不到 1%。这里要区分两个容易搞混的数据,它们大约能通过 63% 的新增功能测试,但这不代表任务做完,很多时候改完新功能,老代码原有逻辑直接出问题,AI 还会自己判定任务已经交付。整个实验模拟真实团队交接的痛点,需求分散在不同同事手里、聊天记录和文档信息互相矛盾,AI 需要主动找对应模拟同事询问信息、梳理冲突需求、修改存量代码,最后要同时保证新增功能可用、原有功能不退化才算交付成功。

为什么 AI 接盘队友代码交付率这么低

  1. 信息收集不全:AI 虽然知道该找谁提问,但没法把所有需要的需求信息都收集齐,拿到的信息经常残缺,还有不少矛盾信息不会妥善核对。
  2. 需求理解断层:就算提前一次性给到全部需求文档,模型的单项测试通过率会上涨,但整体完整交付率几乎没有提升,说明读懂需求和落地成稳定代码是两回事。
  3. 回归问题高发:AI 容易只盯着要新增、要修复的部分,忽略存量代码里隐藏约束,改动之后老功能崩掉,直接导致任务不合格。
  4. 自我校验能力弱:有三成被 AI 标记为完成的需求,实际跑测试都会失败,AI 没有可靠手段自查交付成果。

这个测试的执行步骤

  1. 搭建仿真团队环境:构建 SWE-CoWork 基准,一共 101 个真实开发任务,覆盖 11 种编程语言,配置 26 个分工不一样、信息互相隔离的模拟同事。
  2. 交接初始化:只给 AI 简短的交接说明,没有完整需求文档,需要 AI 主动和 26 位模拟同事沟通,挖掘散落在团队里的项目信息。
  3. 编码与自测:AI 拿到信息后修改存量代码、实现变更,自己判断任务是否完成。
  4. 双重标准校验:同时检测新增功能用例、原有业务回归用例,两类全部通过才算完整交付,只过一部分测试不算任务完成。
  5. 多模型对比统计:一共测试 11 款编码智能体,统计每一个模型的测试通过率、完整交付率两项指标。

实际落地的结论

AI 适合做局部改 bug、写新增代码片段、梳理注释这类轻量化编码工作,不能直接丢给 AI 独立接手跨多人协作、历史复杂的存量项目。企业想用 AI 接盘队友代码,必须保留人工全程审核,提前整理完整需求清单、回归用例清单,不能依靠 AI 自己沟通收集需求和验收。

【常见问题】

问题 1:AI 职场接手队友代码、26 个模拟同事这个实验里,测试通过率和完整交付率为什么差距很大?

回答 1:AI 职场接手队友代码时,63% 左右是新增功能的单项测试通过率,26 个模拟同事的信息是分散、有冲突的,AI 很容易忽略老代码约束,单项测试能跑通,但原有功能坏掉,满足不了完整交付标准,所以完整交付率不足 8%。

问题 2:给 AI 一次性补齐全部需求,能不能提高 AI 职场接手队友代码的完整交付率?

回答 2:在这个 26 个模拟同事的 SWE-CoWork 实验中,提前给到全部需求,AI 的单项测试通过率会提升约 16 个百分点,但 AI 职场接手队友代码的完整任务交付率几乎没有变化,说明瓶颈不只是缺需求,还有落地编码、回归校验环节的短板。

问题 3:26 个模拟同事的场景,对 AI 接手队友代码的考验重点是什么?

回答 3:重点模拟真实职场协作,26 个模拟同事各自掌握一部分项目信息,需求零散甚至冲突,考验 AI 主动找人问询、对齐矛盾信息、在存量代码上安全修改的能力,而不是简单做有明确描述的编码题。

【参考资料】

[2026-11-17](Coding Agents Finish Under 8% of Team Assignments: Study)i10X News

[2026-11-15](SWE-CoWork: Benchmarking Coding Agents as Digital Employees in Organizations)arXiv

【免责声明】

本文内容基于公开学术基准实验信息整理,仅用于行业信息科普,不构成企业 AI 落地、技术选型的决策依据;不同业务代码复杂度、交接文档完善度会影响 AI 编码智能体实际表现,实验数据为特定基准环境下的结果,和真实职场效果存在差异。

今日大家都在搜的词: