Anthropic 正式对外发布 MAMUBench 多智能体协调基准,这个基准专门用来测试多用户搭配多个 AI 智能体组队协作时的表现,和传统只测单个智能体能力的评测集不一样,它聚焦真实场景里容易出现的沟通冲突、资源争抢、信息不同步问题;研究团队搭建了 4 类贴近日常业务的模拟环境,其中 3 个环境作为 MAMUBench 开放给社区,用来测试不同大模型在共享预算、多人排班、团队订单、代码合并流程下的协调效果,测试过程里发现,就算单模型能力很强,多个智能体一起工作的时候反而容易翻车,出现决策矛盾、资源超支、任务卡壳,MAMUBench 就是用来量化这类团队协作失效问题,给开发者调试多智能体系统、设计协作规则提供统一标尺,目前已经拿 Claude、OpenAI、阿里等主流前沿模型完成首轮对比测试。
一、MAMUBench 内置测试环境清单
- 共享 API 预算环境:多个智能体共用一笔经费,需要协商分配调用额度,避免超额
- 诊所排班日历环境:急诊患者、预约患者共用排班资源,智能体之间协调时段
- 多人助理协同环境:组团订餐、预定出行,共享预算,多个人的 AI 助手互相配合
- 代码合并队列环境(研究内部环境,不对外释放):代码提交、版本截止时间协同校验
二、MAMUBench 的评测维度
- 任务完成率:最终能不能顺利完成团队目标
- 冲突化解能力:出现资源争抢、意见分歧时,能不能自主协商
- 信息同步指标:智能体是否读取全部消息、有没有遗漏关键信息
- 资源管控:预算、时间配额有没有超支
- 协作副作用:会不会为了达成目标牺牲其他用户的合理诉求
三、典型的协作失效现象与优化方案
| 问题现象 | 可用优化手段 |
|---|---|
| 智能体互相抢资源,预算透支 | 设置团队负责人角色,统一优先级排序 |
| 没读取消息就直接下单、提交操作 | 强制规则:读取全部待阅消息后,才能执行确认动作 |
| 各干各的,信息孤岛 | 统一共享消息面板,定时同步状态 |
| 盲目追求目标,忽略其他用户诉求 | 增加约束,优先满足多人共赢,而不是单一任务优先 |
四、MAMUBench 整套评测流程
- 加载对应的场景环境,分配多个用户以及各自绑定的 AI 智能体
- 下发共同目标,开放通信通道,智能体自主沟通、调用操作
- 环境自动记录交互日志、资源消耗、任务结果
- 按照上面 5 个维度自动打分,输出协作失败的环节
- 开发者调整提示词、角色规则、管控策略之后,重复跑基准对比效果
五、和普通多智能体 Bench 的区别
普通 AgentBench、GAIA 这类基准,大多是单个智能体独立完成任务;MAMUBench 核心是多用户 + 多智能体,每个智能体背后对应不同用户诉求,目标存在潜在冲突,更贴近企业里多人使用 AI 助手协同办公、项目协作的真实情况,重点不是单独的推理能力,而是协商、让步、信息同步的团队协调能力。
【常见问题】
问题 1:Anthropic 发布的 MAMUBench,是用来测单个大模型答题能力的基准吗?
回答 1:不是,Anthropic 发布的 MAMUBench 是多用户多智能体团队协调基准,重点测试多个 AI 智能体在存在利益冲突、共享资源场景下的沟通协作能力,不是用来单独评测单模型推理、答题能力。
问题 2:MAMUBench 开放给开发者使用,里面包含全部 4 个测试环境吗?
回答 2:MAMUBench 只对外释放 3 个测试环境,分别是共享预算、诊所排班、多人助理协同;代码合并队列环境仅用于 Anthropic 内部研究,没有对外开源。
问题 3:用 MAMUBench 测试多智能体,能力强的模型是不是协作表现一定更好?
回答 3:不一定,MAMUBench 测试结果显示,单模型能力强不代表多智能体协调效果更好,部分高性能模型在组队时更容易出现冲突升级、争抢资源,反而造成任务失败。
【参考资料】
[2026-11-11](Worse Together: How Performance Breaks Down in Multi-User Multi-Agent Teams)Anthropic Alignment Science Blog
[2026-11-11](Anthropic 发布 MAMUBench,面向多用户多智能体协作评测)机器之心
[2026-11-11](MAMUBench 多智能体基准解读,团队 AI 协作容易失效)AI 前线
[2026-11-05](前沿多智能体评测基准梳理)arXiv
【免责声明】
本文仅为 AI 行业资讯科普,不构成模型选型、多智能体系统开发落地建议;MAMUBench 为研究基准,测试结果仅代表该环境下的表现,不能直接等同于线上生产环境效果;基准配套环境、评估指标后续可能迭代调整;不同模型在 MAMUBench 上的得分受提示词、角色设定、管控规则影响。
