您的位置首页 >人工智能 >

美团用"一条指令当基准"测大模型九条任务、九个模型,排名换一条就变

美团这套大模型评测方案,核心是采用一条指令作为基准的评测方式,一共设置九条任务、挑选九个主流大模型参与对比,这套评测和传统固定数据集打分不一样,只要替换、修改这条基准指令,各个模型的评测排名就会发生变化,这也说明大模型评测结果很容易受 prompt 影响,不存在绝对固定不变的榜单,适合研发、算法同学理解评测偏差来源,不能直接拿单次榜单当成模型强弱定论;背后的原因是,大模型本身对提示词非常敏感,不同模型的指令遵循偏好、输出风格、上下文理解能力不一样,有的模型更适配简短指令,有的适合带约束、带格式要求的指令,美团这次实验就是为了直观证明:评测 prompt 本身就是一个关键变量,而不是单纯的背景干扰项。

一、本次评测基础信息

项目详情
评测核心机制一条指令作为基准,所有模型共用同一条基准 prompt
任务总量9 条独立任务
参与模型数量9 个主流大模型
核心现象更换基准指令,模型排名随即改变
实验目的验证提示词对大模型评测结果的影响

二、九条任务方向说明

这 9 项任务偏向业务落地场景,贴合美团本地生活、文本理解、工具调用类需求:

  1. 结构化信息抽取
  2. 多轮对话意图识别
  3. 工具函数调用
  4. 长文本摘要
  5. 数值计算与校验
  6. 分类判别任务
  7. 指令格式严格遵守输出
  8. 错误信息识别与拒答
  9. 多条件综合推理

三、评测的执行流程

  1. 选定一条统一基准指令,这条指令会附加在 9 项任务前面,作为统一评测基准;
  2. 9 款大模型在相同环境、相同温度、相同上下文窗口参数下,依次跑完全部 9 项任务;
  3. 根据输出匹配度、正确性、格式合规度、稳定性综合打分,生成第一轮模型排名;
  4. 改动这条基准指令(调整措辞、增加约束、删减要求),保持 9 项任务、9 个模型不变;
  5. 再次批量推理打分,对比前后榜单,观察模型排名发生变动;
  6. 汇总实验现象,总结结论:基准指令是影响榜单的重要变量。

四、重点结论与解读

  1. 大模型榜单不是客观固定标尺,基准 prompt 一变,排名就可能洗牌;
  2. 有些模型在 A 指令下表现拔尖,换一套指令之后优势消失;
  3. 面向业务选型大模型,不能只看公开榜单,要用贴合自身业务话术、业务约束的 prompt 做内部自测;
  4. 美团这个实验不是用来分出模型谁强谁弱,而是提醒团队:做内部大模型评估时,需要多组不同基准指令交叉验证,避免单条 prompt 带来的评测偏差。

五、实操启发(模型选型怎么用)

  • 业务测试不要只用一条指令当基准,至少准备 3~5 组风格不同的基准提示词交叉验证;
  • 优先使用和你线上真实调用接近的指令模板去测,参考价值远高于通用评测集;
  • 如果某款模型在不同基准指令下名次波动极大,说明它的指令鲁棒性偏弱;
  • 稳定性优先的业务场景,重点筛选排名波动小的模型。

整体来说,美团这个实验揭示了大模型评测里很容易被忽略的问题:基准指令本身会左右 9 个模型在 9 项任务里的表现排名,单纯一份榜单参考价值有限,企业落地大模型,一定要自建多 prompt、多任务的评测集。

【相关 FAQ】

问题 1:美团一条指令当基准测大模型,为什么 9 项任务、9 个模型,换基准指令排名就会变?

回答 1:美团一条指令当基准测大模型时,不同大模型对提示词的偏好、指令遵循能力不一样,每条基准指令自带格式、语气、约束条件,9 个模型在 9 项任务里适配程度不同,一旦基准指令改动,各模型得分同步变化,最终排名随之变动。

问题 2:美团一条指令基准大模型测试里,这 9 项任务是通用测试题还是美团业务相关任务?

回答 2:美团一条指令基准大模型测试的 9 项任务偏向本地生活、工具调用、信息抽取这类美团业务相关场景,并不是纯学术通用测试任务,更贴合美团内部落地大模型的真实需求。

问题 3:美团一条指令当基准测大模型,这份榜单能不能直接用来挑选上线大模型?

回答 3:不建议直接用美团一条指令当基准测大模型的单次榜单选型,因为单条基准指令局限性很强,排名很容易受 prompt 影响,想要可靠选型,需要多套基准指令交叉评测。

问题 4:美团一条指令基准大模型测试一共用了多少个参与评测的大模型?

回答 4:美团一条指令基准大模型测试一共选取 9 个大模型,固定搭配 9 项任务开展对照实验,用来验证基准指令对模型评测排名的影响。

【参考资料】

[2026-11-18](美团大模型评测新方式:以一条指令为基准,9 任务 9 模型,换 prompt 即排名变动)量子位

[2026-11-15](美团分享大模型评测实践:提示词是评测变量,单一基准指令不可靠)机器之心

[2026-11-11](美团 AI 团队实验:固定 9 任务 9 模型,仅修改基准指令,榜单结果洗牌)36 氪

[2026-11-08](大模型评测陷阱:prompt 基准变化带来排名漂移,美团给出对照实验案例)InfoQ

【免责声明】

本文仅整理美团一条指令作为基准的大模型评测公开实验信息,实验细节、任务内容、模型名单、打分方式以美团官方技术分享为准;该实验结论仅代表本次对照实验现象,不代表所有大模型的通用性能定论;本文不构成大模型选型建议,模型业务落地评估请结合自身场景多组测试验证。

今日大家都在搜的词: