METR 最新更新的 AI 能力时间图谱,清晰展现出前沿 AI 能力发展不均衡的现状,编码类可核验任务进步速度很快,但是需要主观权衡、开放决策的判断类任务提升幅度明显偏弱,造成这个差距的核心原因是编码任务有明确对错标准、可以用测试用例自动校验结果,模型很容易在反馈循环里持续迭代优化;而判断类任务没有标准答案,要结合模糊信息、多方利弊、隐性约束做取舍,很难用自动化打分去训练和评估,哪怕是当前最强的前沿模型,在 METR 新增的 heavy-judgment 任务里,输出结果大多达不到专业人员认可的可用标准,这份能力图不是否定 AI 的进步,而是提醒大家不能拿编码类任务的增长速度,去推演 AI 在复杂决策、价值判断场景的落地节奏,AI 能力是分片增长,不是整体同步变强。METR 这套评估体系采用 “时间视界” 指标衡量 AI,也就是 AI 有 50% 概率完成的任务,对应熟练人类专家要花费的工作时长,编码任务的可完成时长大约每 7 个月翻一倍,不少模型已经可以独立完成过去要人类工程师花数小时的开发工作;换到判断任务赛道,增长曲线平缓很多,很多开放型判断任务,模型依旧容易出现片面结论、过度自信、忽略隐性风险的问题。
一、METR 新版能力图谱两类任务对比表
| 任务类型 | 增长特点 | 评估方式 | 典型例子 | 主要短板 |
|---|---|---|---|---|
| 编码类任务 | 指数级快速提升 | 自动化测试、代码用例核验 | 功能开发、bug 修复、工程脚本、单元测试 | 代码能跑但工程落地细节考虑不足,自动化评分容易虚高 |
| 判断类任务 | 低速缓慢提升 | 人工专家复核打分 | 方案取舍、风险研判、价值权衡、复杂评估设计 | 容易片面、遗漏隐性约束、分不清主次,很难产出可靠结论 |
二、METR 评估核心指标说明
- 时间视界(Time Horizon):METR 的核心指标,代表 AI agent 达到 50% 成功率对应的人类专家耗时,数值越大代表能搞定越复杂、耗时越长的任务。
- HCAST 套件:面向软件工程、网络安全、研发工程的标准化任务集,是编码能力评估的主力。
- RE-Bench:偏向机器学习研发工程任务,用来测试 AI 做实验调参、模型优化的能力。
- 判断专项任务:METR 本次新增的开放任务,不设唯一正确答案,依靠行业专家人工评审结果质量。
三、这份图谱带来的工程落地参考要点
- 开发自动化方向:代码生成、脚本编写、简单调试这类场景可以持续加大投入,AI 的收益确定性高。
- 决策类业务:风险评估、方案选型、复杂审核这类强判断场景,不能直接交给 AI 自主输出结论,必须保留人工终审环节。
- 基准对比要区分:看各家模型评测分数时,优先分清是编码类得分还是判断类得分,编码高分不等于综合判断力强。
- 警惕趋势外推误区:编码的翻倍增长规律,不适用于法律、管理、战略这类依赖主观判断的领域,不要简单套用同一个增速预期。
四、评估本身存在的局限
- 自动化打分存在水分:很多代码在自动测试里通过,但是真实项目里没法合并上线,自动评分会高估真实产出能力。
- 判断任务样本偏少:高质量、高难度的开放判断任务很难批量构造,评估样本规模远小于编码任务。
- 模型会适配评测集:公开任务有被模型预训练记住的风险,METR 也保留一部分私有任务规避这个问题。
【相关 FAQ】
问题 1:METR 新版 AI 能力图谱里,编码进步快判断仍弱,这里的判断任务指哪些场景?
回答 1:METR 新版 AI 能力图谱里所说的判断任务,是没有标准答案、需要权衡利弊的开放任务,像风险研判、方案取舍、评估规则设计,这类任务没法自动核验,也是 METR 测出 AI 进步缓慢的方向,和有明确测试用例的编码任务形成明显反差。
问题 2:METR 的 AI 能力图谱,编码任务增速数据大概是什么水平?
回答 2:METR 的 AI 能力图谱统计显示,编码类软件工程任务的可完成时间视界大约每 7 个月翻一倍,在 METR 的 HCAST 编码测试套件里,前沿模型已经可以独立完成不少人类专家耗时数小时的开发工作。
问题 3:METR 新版 AI 能力图谱显示 AI 判断仍弱,是不是代表 AI 完全不能参与判断类工作?
回答 3:METR 新版 AI 能力图谱显示 AI 判断仍弱,不代表 AI 不能参与判断类工作,只是 AI 不适合独立做最终决策,适合当做信息整理、备选方案生成的辅助工具,最终结论还是需要专业人员复核把关。
问题 4:METR 用什么指标绘制这份编码进步快判断仍弱的 AI 能力图?
回答 4:METR 依靠 “时间视界” 指标绘制这份编码进步快判断仍弱的 AI 能力图,指标含义是 AI 有 50% 成功率完成任务,对应的熟练人类专家完成该任务的耗时,用来横向对比编码任务和判断任务的能力上限。
【参考资料】
[2026-11-20](METR 2026 Q4 AI 能力更新报告)METR 官方
[2026-11-20](METR 更新:AI 编码能力快速翻倍,判断类任务进展滞后)AI Weekly
[2026-11-20](METR 更新其 AI 时间视界报告,新增侧重判断的任务)Crypto Briefing
[2026-11-21](METR’s Time Horizon Plot: AI Coding Soars, Judgment Lags)DEV Community
[2026-10-12](METR 维基介绍)Wikipedia
【免责声明】
本文内容基于 METR 公开 AI 能力图谱资讯整理科普,不构成 AI 产品采购、项目方案设计、风险决策的直接依据;METR 评测结果受任务套件、打分方式、模型版本影响,不同测试条件结论会存在偏差;AI 实际落地效果请以自身场景实测为准,直接依据本文内容落地业务产生的风险,作者不承担相关责任。
