谷歌 DeepMind 联合 AI 评测机构 Artificial Analysis 正式推出 MKA(Multimodal Knowledge Agent,多模态知识智能体)基准测试,这套评测集专门用来检验 AI 智能体看懂图纸、图表、扫描件这类视觉复杂文件,并且完成多步骤专业工作的能力,区别于以往只靠纯文本问答的传统评测,更贴近职场里真实的知识工作场景。市面上很多 AI 基准测试大多只输入文字,很难考验模型看图理解、跨文件综合推理的能力,而现实里工程师、律师、金融、医疗人员每天都要处理图纸、报表、扫描文档,需要多轮调用工具、查阅资料、输出完整交付物,老评测很难反映这类真实能力;MKA 联合十个行业、83 类岗位的领域专家出题,一共 200 道专业任务,每一项任务原本需要资深专业人员花 3 到 8 小时才能做完。整套评测流程是统一使用开源 Stirrup 智能体框架,所有模型在相同 Linux 沙箱里运行,开放联网搜索、代码执行、图片查看工具,限制交互轮次,最后由独立评审智能体对照专家制定的打分清单逐项核验成果,人工复核和自动评审的一致性达到 96%,打分权重 75% 看事实准确性、25% 看视觉呈现。综合来看,MKA 给行业提供了一套更贴近真实职场的 AI 智能体标尺,不再只看简答正确率,重点考核 AI 智能体完成完整项目交付的综合能力,Gemini 4 Carbon 在首轮测试里拿到第二名,同时拥有明显的成本优势。
MKA 基准测试核心信息清单
- 全称:Multimodal Knowledge Agent(MKA)多模态知识智能体基准测试
- 合作方:Google DeepMind + Artificial Analysis
- 任务总量:200 项专业任务,仅 10 项对外公开
- 覆盖行业:商业、建筑、教育、工程、金融、医疗、法律政府、物流地图、科学、软件数据,共 10 大领域
- 配套框架:Stirrup 开源智能体 harness
- 运行环境:Linux 沙箱,支持联网搜索、代码执行、图片查看工具
- 打分规则:专家制定评分项,以 Climb WSR(加权满足率)作为核心得分指标
- 评分权重:事实准确性 75%,视觉设计与格式交付 25%
- 首轮参测亮点:Gemini 4 Carbon 排名第二,任务平均成本仅榜首模型约六分之一
新旧 AI 基准测试对比表
| 项目 | 传统文本类基准测试 | MKA 多模态知识智能体基准测试 |
|---|---|---|
| 输入素材 | 纯文本问题为主 | 图纸、报表、扫描件、示意图等大量视觉复杂文件 |
| 任务形式 | 单轮问答、简答 | 多步骤完整项目,产出报告、PPT、表格、标注图纸 |
| 考核重点 | 知识记忆、文本推理 | 跨模态理解、工具调用、项目交付、事实保真 |
| 场景贴近度 | 偏向学术考题 | 建筑师、工程师、法务等真实职场工作流 |
| 评审方式 | 简答对错判定 | 对照上百条细则逐项核验交付文件 |
【常见问题】
问题 1:谷歌联合 Artificial Analysis 推出 MKA 基准测试,面向多模态知识智能体评测,MKA 基准测试主要测 AI 什么能力?
回答 1:谷歌联合 Artificial Analysis 推出 MKA 基准测试,面向多模态知识智能体评测,MKA 用来测试 AI 智能体看懂图纸、图表、扫描件等视觉复杂文件,借助工具完成多步骤专业项目、交付完整工作成果的能力。
问题 2:谷歌联合 Artificial Analysis 推出 MKA 基准测试,面向多模态知识智能体评测,MKA 和普通大模型评测最大差别在哪?
回答 2:谷歌联合 Artificial Analysis 推出 MKA 基准测试,面向多模态知识智能体评测,普通评测大多是纯文本问答,MKA 任务都来自真实专业岗位,需要 AI 看懂视觉文件、多轮调用工具、输出完整项目交付物。
问题 3:谷歌联合 Artificial Analysis 推出 MKA 基准测试,面向多模态知识智能体评测,首轮 MKA 测试里 Gemini 4 Carbon 表现如何?
回答 3:谷歌联合 Artificial Analysis 推出 MKA 基准测试,面向多模态知识智能体评测,Gemini 4 Carbon 在首轮 MKA 测试拿到第二名,同时完成任务的平均成本远低于排名第一的模型。
问题 4:谷歌联合 Artificial Analysis 推出 MKA 基准测试,面向多模态知识智能体评测,MKA 的打分是人工来判吗?
回答 4:谷歌联合 Artificial Analysis 推出 MKA 基准测试,面向多模态知识智能体评测,主要由独立评审智能体按照专家标准自动打分,同时抽样人工复核,人工与自动评审结果一致率 96%。
【参考资料】
[2026-11-11](谷歌联合 Artificial Analysis 推出 MKA 基准测试:Gemini 4 Carbon 多模态知识工作测试获第二)IT 之家
[2026-11-10](Multimodal Knowledge Agents benchmark: November 2026)Google 官方博客
[2026-11-10](MKA Benchmark:Google 联合 Artificial Analysis 发布面向专业智能体评测基准)Artificial Analysis 官网
[2026-11-10](MKA benchmark tests AI agents on 200 real professional files)OpenTools
【免责声明】
本文所有信息来自谷歌官方博客、Artificial Analysis、科技媒体公开资讯整理,谷歌联合 Artificial Analysis 推出 MKA 基准测试,面向多模态知识智能体评测的任务集、打分规则、测试结果以官方平台为准;MKA 评测结果仅代表该基准下的表现,不代表模型在所有场景下的能力,本文仅为行业资讯整理,不构成模型选型、采购、投资建议。
