做 Agent 测评指标,核心思路是先区分 Agent 能力分层,先锁定测评目标,再挑选对应指标大类,接着确定指标采集方式、计算公式,最后组合成综合评分,这样能避免指标乱选、算出来的分数没有实际参考价值。先理清你要测什么类型的 Agent,是对话问答类、工具调用类、任务自主规划类还是多模态 Agent,不同类型重点指标完全不一样;然后把指标分成客观可量化指标、主观体验指标、安全合规指标三大块,剔除和测评目标无关的指标;之后逐个明确指标定义、采集方式、计算公式,区分正确率类、耗时类、成本类、召回类不同计算逻辑;最后做加权汇总得到综合分,同时做好指标阈值和基线对照,最终产出可信的 Agent 测评结果。
一、第一步:怎么选 Agent 测评指标
1.1 先定测评目标,划定指标范围(清单)
- 验证功能能力:优先选任务完成率、工具调用成功率、指令遵循度、规划纠错次数
- 验证性能效率:优先选首 token 耗时、全链路响应时长、单轮 token 消耗、并发承载量
- 验证效果质量:优先选答案准确率、幻觉率、信息完整度、逻辑一致性
- 验证安全稳定:优先选违规输出率、崩溃异常率、注入攻击通过率、隐私泄露风险
- 验证用户体验:优先选用户满意度、修改重试次数、回复可读性评分
1.2 指标分类清单
| 指标大类 | 包含指标 | 适用 Agent 类型 |
|---|---|---|
| 任务能力指标 | 任务完成率、子任务达成率、工具调用成功率、指令遵循率 | 工具 Agent、自主任务 Agent |
| 质量指标 | 幻觉率、答案准确率、信息召回率、逻辑冲突率 | 问答 Agent、检索增强 Agent |
| 性能成本指标 | 全链路耗时、首字延迟、平均 token 消耗、单任务成本 | 全部 Agent |
| 稳定性安全指标 | 异常报错率、违规输出率、提示注入成功率 | 全部 Agent |
| 主观体验指标 | 人工评分、用户满意度、简洁度评分 | 面向 C 端对话 Agent |
1.3 选指标避坑规则
- 不要堆砌指标,一次测评控制核心指标 8~12 个;
- 优先选可自动化计算的指标,人工打分指标控制占比;
- 指标之间不要高度重复,比如不要同时统计 “幻觉率” 和 “错误信息率” 且权重都很高;
- 指标要匹配基线,最好有对照 Agent(基线版本 / 竞品)一起测。
二、第二步:Agent 测评指标怎么算
说明:所有统计分母都是有效测试样本,过滤掉无效 case(输入非法、网络异常)
2.1 任务 & 成功率类指标
- 任务完成率
- 工具调用成功率
- 指令遵循率
公式:任务完成率 = 成功完成的任务样本数 ÷ 总有效测试样本数 ×100%
判定标准:预先定义任务成功标准(如拿到正确结果、完成指定流程)
公式:工具调用成功率 = 成功调用工具次数 ÷ Agent 发起工具调用总次数 ×100%
公式:指令遵循率 = 完全匹配用户指令要求的样本数 ÷ 总有效样本 ×100%
2.2 质量风险类指标
- 幻觉率
- 违规输出率
- 逻辑冲突率
公式:幻觉率 = 输出存在虚假信息的样本数 ÷ 总有效样本 ×100%
公式:违规输出率 = 输出违规内容样本数 ÷ 总有效样本 ×100%
公式:逻辑冲突率 = 回答存在前后矛盾样本数 ÷ 总有效样本 ×100%
2.3 性能成本类指标
- 平均全链路响应耗时
- 平均 token 消耗
- 并发通过率
公式:平均全链路响应耗时 = 所有样本从发起到输出结束总耗时 ÷ 有效样本数量
单位:ms /s
公式:平均 token 消耗 = 所有样本输入 + 输出 token 总和 ÷ 有效样本数量
公式:并发通过率 = 指定并发数下正常完成任务数 ÷ 并发下发任务总数 ×100%
2.4 主观打分指标(人工 / LLM as judge)
- 单样本得分:采用 1-5 分制,按维度打分
- 维度平均分 = 所有样本该维度得分之和 ÷ 有效样本数量
- LLM 裁判打分要固定评判 prompt,减少打分波动
2.5 综合得分计算(加权模式,最常用)
综合测评分 = Σ(单项指标得分 × 指标权重)
示例权重参考(工具型 Agent):
任务完成率 40%、幻觉率 20%、工具成功率 20%、平均耗时 10%、违规率 10%
三、第三步:测评落地流程
- 构造测试集:分通用 case、边界 case、对抗 case;
- 配置指标、权重、判定规则,固化到测评脚本;
- 批量跑测,自动采集日志、耗时、token、输出文本;
- 自动化计算量化指标,AI 裁判 / 人工标注主观项;
- 和基线对比,输出指标差异、优化方向;
- 迭代调整指标和权重(Agent 迭代后测评目标会变)
【常见问题】
问题 1:Agent 测评指标是不是越多越好?
回答 1:Agent 测评指标不是越多越好,指标过多会拉高测评成本、指标互相干扰,很难定位 Agent 真实短板,要围绕测评目标挑选核心 Agent 测评指标,优先保留高区分度指标。
问题 2:幻觉率这个 Agent 测评指标自动化计算靠谱吗?
回答 2:幻觉率属于 Agent 测评指标里的质量类指标,纯自动化计算会有误差,一般搭配检索校验 + LLM 裁判联合判定,高风险场景需要人工复核校准结果。
问题 3:不同类型 Agent 可以用同一套 Agent 测评指标吗?
回答 3:不可以,问答 Agent、工具调用 Agent、多模态 Agent 的核心能力不一样,需要调整 Agent 测评指标和权重,比如工具 Agent 重点看工具调用成功率,检索 Agent 重点看信息召回率。
问题 4:Agent 测评指标加权分数可以直接用来横向对比所有 Agent 吗?
回答 4:只有在指标定义、判定标准、测试数据集、权重完全一致的前提下,Agent 测评指标算出的综合分才能横向对比,测评规则不一样时分数没有可比性。
【数据来源】
[2026-10-21](智能 Agent 自动化测评体系设计与指标规范)AI 科技评论
[2026-09-08](大模型 Agent 评测指标、评测集与评估方法综述)机器之心
[2026-08-15](Tool Agent 评测实践:指标选型、基线搭建与计算方案)InfoQ
[2026-07-02](LLM Agent 安全与能力评测指标白皮书)智源研究院
【免责声明】
本文内容仅为 Agent 测评指标选型与计算的技术实践参考,不构成标准化测评认证方案;不同业务场景、Agent 类型需要自定义判定规则、权重与测试数据集;测评结果受测试用例、裁判模型、环境参数影响,不能单独作为产品上线、商业验收的唯一依据。
