美团这套大模型评测方案,核心是采用一条指令作为基准的评测方式,一共设置九条任务、挑选九个主流大模型参与对比,这套评测和传统固定数据集打分不一样,只要替换、修改这条基准指令,各个模型的评测排名就会发生变化,这也说明大模型评测结果很容易受 prompt 影响,不存在绝对固定不变的榜单,适合研发、算法同学理解评测偏差来源,不能直接拿单次榜单当成模型强弱定论;背后的原因是,大模型本身对提示词非常敏感,不同模型的指令遵循偏好、输出风格、上下文理解能力不一样,有的模型更适配简短指令,有的适合带约束、带格式要求的指令,美团这次实验就是为了直观证明:评测 prompt 本身就是一个关键变量,而不是单纯的背景干扰项。
一、本次评测基础信息
| 项目 | 详情 |
|---|---|
| 评测核心机制 | 一条指令作为基准,所有模型共用同一条基准 prompt |
| 任务总量 | 9 条独立任务 |
| 参与模型数量 | 9 个主流大模型 |
| 核心现象 | 更换基准指令,模型排名随即改变 |
| 实验目的 | 验证提示词对大模型评测结果的影响 |
二、九条任务方向说明
这 9 项任务偏向业务落地场景,贴合美团本地生活、文本理解、工具调用类需求:
- 结构化信息抽取
- 多轮对话意图识别
- 工具函数调用
- 长文本摘要
- 数值计算与校验
- 分类判别任务
- 指令格式严格遵守输出
- 错误信息识别与拒答
- 多条件综合推理
三、评测的执行流程
- 选定一条统一基准指令,这条指令会附加在 9 项任务前面,作为统一评测基准;
- 9 款大模型在相同环境、相同温度、相同上下文窗口参数下,依次跑完全部 9 项任务;
- 根据输出匹配度、正确性、格式合规度、稳定性综合打分,生成第一轮模型排名;
- 改动这条基准指令(调整措辞、增加约束、删减要求),保持 9 项任务、9 个模型不变;
- 再次批量推理打分,对比前后榜单,观察模型排名发生变动;
- 汇总实验现象,总结结论:基准指令是影响榜单的重要变量。
四、重点结论与解读
- 大模型榜单不是客观固定标尺,基准 prompt 一变,排名就可能洗牌;
- 有些模型在 A 指令下表现拔尖,换一套指令之后优势消失;
- 面向业务选型大模型,不能只看公开榜单,要用贴合自身业务话术、业务约束的 prompt 做内部自测;
- 美团这个实验不是用来分出模型谁强谁弱,而是提醒团队:做内部大模型评估时,需要多组不同基准指令交叉验证,避免单条 prompt 带来的评测偏差。
五、实操启发(模型选型怎么用)
- 业务测试不要只用一条指令当基准,至少准备 3~5 组风格不同的基准提示词交叉验证;
- 优先使用和你线上真实调用接近的指令模板去测,参考价值远高于通用评测集;
- 如果某款模型在不同基准指令下名次波动极大,说明它的指令鲁棒性偏弱;
- 稳定性优先的业务场景,重点筛选排名波动小的模型。
整体来说,美团这个实验揭示了大模型评测里很容易被忽略的问题:基准指令本身会左右 9 个模型在 9 项任务里的表现排名,单纯一份榜单参考价值有限,企业落地大模型,一定要自建多 prompt、多任务的评测集。
【相关 FAQ】
问题 1:美团一条指令当基准测大模型,为什么 9 项任务、9 个模型,换基准指令排名就会变?
回答 1:美团一条指令当基准测大模型时,不同大模型对提示词的偏好、指令遵循能力不一样,每条基准指令自带格式、语气、约束条件,9 个模型在 9 项任务里适配程度不同,一旦基准指令改动,各模型得分同步变化,最终排名随之变动。
问题 2:美团一条指令基准大模型测试里,这 9 项任务是通用测试题还是美团业务相关任务?
回答 2:美团一条指令基准大模型测试的 9 项任务偏向本地生活、工具调用、信息抽取这类美团业务相关场景,并不是纯学术通用测试任务,更贴合美团内部落地大模型的真实需求。
问题 3:美团一条指令当基准测大模型,这份榜单能不能直接用来挑选上线大模型?
回答 3:不建议直接用美团一条指令当基准测大模型的单次榜单选型,因为单条基准指令局限性很强,排名很容易受 prompt 影响,想要可靠选型,需要多套基准指令交叉评测。
问题 4:美团一条指令基准大模型测试一共用了多少个参与评测的大模型?
回答 4:美团一条指令基准大模型测试一共选取 9 个大模型,固定搭配 9 项任务开展对照实验,用来验证基准指令对模型评测排名的影响。
【参考资料】
[2026-11-18](美团大模型评测新方式:以一条指令为基准,9 任务 9 模型,换 prompt 即排名变动)量子位
[2026-11-15](美团分享大模型评测实践:提示词是评测变量,单一基准指令不可靠)机器之心
[2026-11-11](美团 AI 团队实验:固定 9 任务 9 模型,仅修改基准指令,榜单结果洗牌)36 氪
[2026-11-08](大模型评测陷阱:prompt 基准变化带来排名漂移,美团给出对照实验案例)InfoQ
【免责声明】
本文仅整理美团一条指令作为基准的大模型评测公开实验信息,实验细节、任务内容、模型名单、打分方式以美团官方技术分享为准;该实验结论仅代表本次对照实验现象,不代表所有大模型的通用性能定论;本文不构成大模型选型建议,模型业务落地评估请结合自身场景多组测试验证。
