阿里云把 15 个不同分工的 Agent 编排成一套完整 AI 研发小组，在一套包含 19 道工程开发题的评测集里进行对照测试，最终只有 10 道题的产出质量追平人类研发专家，剩下 9 道题在方案设计、边界异常处理、工程稳定性上明显不如专家，这套多 Agent 小组里面包含组长、需求分析、架构、前后端开发、测试、代码评审、问题排查等不同角色，由组长负责拆分需求、分配任务、汇总成果，各个 Agent 并行干活、互相 Review，官方做这个测试不是为了证明 AI 已经能替代程序员，而是看清多 Agent 组队做复杂研发的上限和短板，现在这套方案适合做简单模块开发、写脚手架、基础单元测试，遇到强业务约束、隐蔽边界 bug、需要长期架构权衡的任务就容易翻车，后续优化方向是强化 Agent 之间的信息对齐、增加人在回路的介入节点，减少角色之间信息不同步带来的低级错误。
15 个 Agent 研发小组角色分工表
| 角色分组 | Agent 数量 | 核心职责 |
|---|---|---|
| 项目统筹组 | 2 | 需求拆解、任务排期、整体进度把控、冲突协调 |
| 设计开发组 | 6 | 架构设计、后端编码、前端页面、接口编写、数据模型设计 |
| 质量保障组 | 4 | 单元测试、集成测试、漏洞扫描、代码评审、缺陷标记 |
| 运维复盘组 | 3 | 部署脚本编写、报错定位、方案复盘、输出优化建议 |
评测结果明细清单
- 总评测题目：19 道真实工程类开发题目，覆盖接口开发、小系统搭建、bug 修复、重构优化
- 追平专家：10 题，代码可直接交付、逻辑完整、测试用例覆盖到位
- 低于专家水平：9 题，常见问题包含方案选型不合理、边界条件遗漏、异常捕获缺失、注释和可维护性差
- 优势场景：标准化 CRUD 接口、简单页面、独立工具脚本、基础单测编写
- 薄弱场景：复杂状态机、多服务联动、性能调优、历史遗留代码重构、隐含业务规则校验
这套多 Agent 研发小组完整运行步骤
- 组长 Agent 接收原始需求，梳理依赖、风险点，拆成独立子任务，分配给对应开发 Agent；
- 开发 Agent 各自输出代码，提交给评审 Agent 和测试 Agent 并行校验；
- 测试 Agent 跑用例，把 bug 返回给开发 Agent 迭代修改；
- 全部任务完成之后，汇总 Agent 合并代码、整理交付文档；
- 裁判对照人类专家的标准产出，打分判定是否达到专家水准。
【常见问题】
问题 1：阿里云 15 个 Agent 组成的研发小组，为什么 19 道题只有 10 道追平专家？
回答 1：阿里云 15 个 Agent 组成的研发小组擅长标准化简单开发任务，但是面对复杂业务逻辑、隐蔽边界场景、架构权衡类题目容易考虑不全，所以 19 道题里面只有 10 道追平专家。
问题 2：阿里云这个 15 个 Agent 研发小组，每个 Agent 是独立大模型实例吗？
回答 2：阿里云 15 个 Agent 研发小组依托通义大模型基座，每个 Agent 通过不同角色提示词、工具权限、任务目标做区分，不是全部使用完全独立的底层模型。
问题 3：阿里云 15 个 Agent 研发小组，现在能不能直接用来承接线上生产项目？
回答 3：阿里云 15 个 Agent 研发小组只适合做辅助开发，产出必须由工程师二次审核修改，9 道题目达不到专家水准说明它还没法独立承接复杂线上项目。
问题 4：阿里云后续打算怎么优化这个 15 个 Agent 研发小组的短板？
回答 4：针对评测暴露出来的问题，阿里云会优化 Agent 之间的信息同步机制、增加业务知识库检索，并且加入人工介入节点，在高风险步骤强制交给工程师把关，提升 15 个 Agent 研发小组在难题上的通过率。
【参考资料】
[2026-11-11]（阿里云把 15 个 Agent 编成一个研发小组：19 道题里只有 10 道追平专家）阿里云开发者社区
[2026-10-17]（多 Agent 团队研发评测：角色编排与工程任务基准测试）阿里云 Qoder 技术博客
[2026-09-22]（Qoder Experts Mode 多智能体协作架构详解）阿里云云栖号
[2026-08-05]（AI 编程 Agent 评测集构建，怎么衡量 AI 开发团队能力）机器之心
【免责声明】
本文阿里云 15 个 Agent 研发小组评测相关内容来自公开技术评测文章，评测结果会随着模型版本、Agent 编排策略、评测题库变化；该多 Agent 研发小组仅为开发辅助工具，AI 输出代码存在漏洞、逻辑缺陷风险，所有代码上线前必须经过专业研发人员审核，不可直接当作专家成果使用。