您的位置首页 >科技要闻 >

Anthropic 推出 MAMUBench 基准 面向多用户多智能体团队协调能力评测

Anthropic 正式对外发布 MAMUBench 多智能体协调基准,这个基准专门用来测试多用户搭配多个 AI 智能体组队协作时的表现,和传统只测单个智能体能力的评测集不一样,它聚焦真实场景里容易出现的沟通冲突、资源争抢、信息不同步问题;研究团队搭建了 4 类贴近日常业务的模拟环境,其中 3 个环境作为 MAMUBench 开放给社区,用来测试不同大模型在共享预算、多人排班、团队订单、代码合并流程下的协调效果,测试过程里发现,就算单模型能力很强,多个智能体一起工作的时候反而容易翻车,出现决策矛盾、资源超支、任务卡壳,MAMUBench 就是用来量化这类团队协作失效问题,给开发者调试多智能体系统、设计协作规则提供统一标尺,目前已经拿 Claude、OpenAI、阿里等主流前沿模型完成首轮对比测试。

一、MAMUBench 内置测试环境清单

  • 共享 API 预算环境:多个智能体共用一笔经费,需要协商分配调用额度,避免超额
  • 诊所排班日历环境:急诊患者、预约患者共用排班资源,智能体之间协调时段
  • 多人助理协同环境:组团订餐、预定出行,共享预算,多个人的 AI 助手互相配合
  • 代码合并队列环境(研究内部环境,不对外释放):代码提交、版本截止时间协同校验

二、MAMUBench 的评测维度

  1. 任务完成率:最终能不能顺利完成团队目标
  2. 冲突化解能力:出现资源争抢、意见分歧时,能不能自主协商
  3. 信息同步指标:智能体是否读取全部消息、有没有遗漏关键信息
  4. 资源管控:预算、时间配额有没有超支
  5. 协作副作用:会不会为了达成目标牺牲其他用户的合理诉求

三、典型的协作失效现象与优化方案

问题现象可用优化手段
智能体互相抢资源,预算透支设置团队负责人角色,统一优先级排序
没读取消息就直接下单、提交操作强制规则:读取全部待阅消息后,才能执行确认动作
各干各的,信息孤岛统一共享消息面板,定时同步状态
盲目追求目标,忽略其他用户诉求增加约束,优先满足多人共赢,而不是单一任务优先

四、MAMUBench 整套评测流程

  1. 加载对应的场景环境,分配多个用户以及各自绑定的 AI 智能体
  2. 下发共同目标,开放通信通道,智能体自主沟通、调用操作
  3. 环境自动记录交互日志、资源消耗、任务结果
  4. 按照上面 5 个维度自动打分,输出协作失败的环节
  5. 开发者调整提示词、角色规则、管控策略之后,重复跑基准对比效果

五、和普通多智能体 Bench 的区别

普通 AgentBench、GAIA 这类基准,大多是单个智能体独立完成任务;MAMUBench 核心是多用户 + 多智能体,每个智能体背后对应不同用户诉求,目标存在潜在冲突,更贴近企业里多人使用 AI 助手协同办公、项目协作的真实情况,重点不是单独的推理能力,而是协商、让步、信息同步的团队协调能力。

【常见问题】

问题 1:Anthropic 发布的 MAMUBench,是用来测单个大模型答题能力的基准吗?

回答 1:不是,Anthropic 发布的 MAMUBench 是多用户多智能体团队协调基准,重点测试多个 AI 智能体在存在利益冲突、共享资源场景下的沟通协作能力,不是用来单独评测单模型推理、答题能力。

问题 2:MAMUBench 开放给开发者使用,里面包含全部 4 个测试环境吗?

回答 2:MAMUBench 只对外释放 3 个测试环境,分别是共享预算、诊所排班、多人助理协同;代码合并队列环境仅用于 Anthropic 内部研究,没有对外开源。

问题 3:用 MAMUBench 测试多智能体,能力强的模型是不是协作表现一定更好?

回答 3:不一定,MAMUBench 测试结果显示,单模型能力强不代表多智能体协调效果更好,部分高性能模型在组队时更容易出现冲突升级、争抢资源,反而造成任务失败。

【参考资料】

[2026-11-11](Worse Together: How Performance Breaks Down in Multi-User Multi-Agent Teams)Anthropic Alignment Science Blog

[2026-11-11](Anthropic 发布 MAMUBench,面向多用户多智能体协作评测)机器之心

[2026-11-11](MAMUBench 多智能体基准解读,团队 AI 协作容易失效)AI 前线

[2026-11-05](前沿多智能体评测基准梳理)arXiv

【免责声明】

本文仅为 AI 行业资讯科普,不构成模型选型、多智能体系统开发落地建议;MAMUBench 为研究基准,测试结果仅代表该环境下的表现,不能直接等同于线上生产环境效果;基准配套环境、评估指标后续可能迭代调整;不同模型在 MAMUBench 上的得分受提示词、角色设定、管控规则影响。

今日大家都在搜的词: