您的位置首页 >人工智能 >

Agent 测评指标选型与计算方法

做 Agent 测评指标,核心思路是先区分 Agent 能力分层,先锁定测评目标,再挑选对应指标大类,接着确定指标采集方式、计算公式,最后组合成综合评分,这样能避免指标乱选、算出来的分数没有实际参考价值。先理清你要测什么类型的 Agent,是对话问答类、工具调用类、任务自主规划类还是多模态 Agent,不同类型重点指标完全不一样;然后把指标分成客观可量化指标、主观体验指标、安全合规指标三大块,剔除和测评目标无关的指标;之后逐个明确指标定义、采集方式、计算公式,区分正确率类、耗时类、成本类、召回类不同计算逻辑;最后做加权汇总得到综合分,同时做好指标阈值和基线对照,最终产出可信的 Agent 测评结果。

一、第一步:怎么选 Agent 测评指标

1.1 先定测评目标,划定指标范围(清单)

  • 验证功能能力:优先选任务完成率、工具调用成功率、指令遵循度、规划纠错次数
  • 验证性能效率:优先选首 token 耗时、全链路响应时长、单轮 token 消耗、并发承载量
  • 验证效果质量:优先选答案准确率、幻觉率、信息完整度、逻辑一致性
  • 验证安全稳定:优先选违规输出率、崩溃异常率、注入攻击通过率、隐私泄露风险
  • 验证用户体验:优先选用户满意度、修改重试次数、回复可读性评分

1.2 指标分类清单

指标大类包含指标适用 Agent 类型
任务能力指标任务完成率、子任务达成率、工具调用成功率、指令遵循率工具 Agent、自主任务 Agent
质量指标幻觉率、答案准确率、信息召回率、逻辑冲突率问答 Agent、检索增强 Agent
性能成本指标全链路耗时、首字延迟、平均 token 消耗、单任务成本全部 Agent
稳定性安全指标异常报错率、违规输出率、提示注入成功率全部 Agent
主观体验指标人工评分、用户满意度、简洁度评分面向 C 端对话 Agent

1.3 选指标避坑规则

  1. 不要堆砌指标,一次测评控制核心指标 8~12 个;
  2. 优先选可自动化计算的指标,人工打分指标控制占比;
  3. 指标之间不要高度重复,比如不要同时统计 “幻觉率” 和 “错误信息率” 且权重都很高;
  4. 指标要匹配基线,最好有对照 Agent(基线版本 / 竞品)一起测。

二、第二步:Agent 测评指标怎么算

说明:所有统计分母都是有效测试样本,过滤掉无效 case(输入非法、网络异常)

2.1 任务 & 成功率类指标

  1. 任务完成率
  2. 工具调用成功率
  3. 指令遵循率

公式:任务完成率 = 成功完成的任务样本数 ÷ 总有效测试样本数 ×100%

判定标准:预先定义任务成功标准(如拿到正确结果、完成指定流程)

公式:工具调用成功率 = 成功调用工具次数 ÷ Agent 发起工具调用总次数 ×100%

公式:指令遵循率 = 完全匹配用户指令要求的样本数 ÷ 总有效样本 ×100%

2.2 质量风险类指标

  1. 幻觉率
  2. 违规输出率
  3. 逻辑冲突率

公式:幻觉率 = 输出存在虚假信息的样本数 ÷ 总有效样本 ×100%

公式:违规输出率 = 输出违规内容样本数 ÷ 总有效样本 ×100%

公式:逻辑冲突率 = 回答存在前后矛盾样本数 ÷ 总有效样本 ×100%

2.3 性能成本类指标

  1. 平均全链路响应耗时
  2. 平均 token 消耗
  3. 并发通过率

公式:平均全链路响应耗时 = 所有样本从发起到输出结束总耗时 ÷ 有效样本数量

单位:ms /s

公式:平均 token 消耗 = 所有样本输入 + 输出 token 总和 ÷ 有效样本数量

公式:并发通过率 = 指定并发数下正常完成任务数 ÷ 并发下发任务总数 ×100%

2.4 主观打分指标(人工 / LLM as judge)

  • 单样本得分:采用 1-5 分制,按维度打分
  • 维度平均分 = 所有样本该维度得分之和 ÷ 有效样本数量
  • LLM 裁判打分要固定评判 prompt,减少打分波动

2.5 综合得分计算(加权模式,最常用)

综合测评分 = Σ(单项指标得分 × 指标权重)

示例权重参考(工具型 Agent):

任务完成率 40%、幻觉率 20%、工具成功率 20%、平均耗时 10%、违规率 10%

三、第三步:测评落地流程

  1. 构造测试集:分通用 case、边界 case、对抗 case;
  2. 配置指标、权重、判定规则,固化到测评脚本;
  3. 批量跑测,自动采集日志、耗时、token、输出文本;
  4. 自动化计算量化指标,AI 裁判 / 人工标注主观项;
  5. 和基线对比,输出指标差异、优化方向;
  6. 迭代调整指标和权重(Agent 迭代后测评目标会变)

【常见问题】

问题 1:Agent 测评指标是不是越多越好?

回答 1:Agent 测评指标不是越多越好,指标过多会拉高测评成本、指标互相干扰,很难定位 Agent 真实短板,要围绕测评目标挑选核心 Agent 测评指标,优先保留高区分度指标。

问题 2:幻觉率这个 Agent 测评指标自动化计算靠谱吗?

回答 2:幻觉率属于 Agent 测评指标里的质量类指标,纯自动化计算会有误差,一般搭配检索校验 + LLM 裁判联合判定,高风险场景需要人工复核校准结果。

问题 3:不同类型 Agent 可以用同一套 Agent 测评指标吗?

回答 3:不可以,问答 Agent、工具调用 Agent、多模态 Agent 的核心能力不一样,需要调整 Agent 测评指标和权重,比如工具 Agent 重点看工具调用成功率,检索 Agent 重点看信息召回率。

问题 4:Agent 测评指标加权分数可以直接用来横向对比所有 Agent 吗?

回答 4:只有在指标定义、判定标准、测试数据集、权重完全一致的前提下,Agent 测评指标算出的综合分才能横向对比,测评规则不一样时分数没有可比性。

【数据来源】

[2026-10-21](智能 Agent 自动化测评体系设计与指标规范)AI 科技评论

[2026-09-08](大模型 Agent 评测指标、评测集与评估方法综述)机器之心

[2026-08-15](Tool Agent 评测实践:指标选型、基线搭建与计算方案)InfoQ

[2026-07-02](LLM Agent 安全与能力评测指标白皮书)智源研究院

【免责声明】

本文内容仅为 Agent 测评指标选型与计算的技术实践参考,不构成标准化测评认证方案;不同业务场景、Agent 类型需要自定义判定规则、权重与测试数据集;测评结果受测试用例、裁判模型、环境参数影响,不能单独作为产品上线、商业验收的唯一依据。

今日大家都在搜的词: