字节针对云盘 Storage Agent 助手搭建了一套包含 124 道题目的回归评测集，新版本综合得分从 88.7 涨到 95.1，涨幅看着很不错，但官方文章重点强调，比综合总分更值得关注的指标是任务完成度，这项指标从 55.4 大幅提升到 92.2，这个变化才代表云盘助手真正能把用户的文件操作任务做完，而不只是话术好听、回答看起来通顺。很多 AI Agent 评测很容易卡在综合分这个表层指标上，综合分是语义理解、回答可信度、表达清晰度等多个维度加权算出来的，就算 AI 说得头头是道，也有可能不去调用云盘工具、没有完成文件移动、查找、分享这些实际动作，也就是 “答对了话，没做完事”。这套 124 道回归题专门覆盖云盘高频场景，包含文件检索、批量操作、权限设置、跨文件夹整理、异常边界场景，搭配 LLM 评估器 + 代码评估器双重校验，代码评估器直接核查工具调用、执行结果，避免只靠大模型主观打分。旧版本的云盘助手经常出现理解问题、但是工具调用出错、中途中断任务的情况，所以综合分看着不算低，任务完成度很低；经过迭代优化之后，工具调用链路、多轮规划能力修复，大量之前做不完的任务现在可以完整跑完，任务完成度才出现跳涨。
一、核心指标对比表
| 指标 | 旧版本 | 新版本 | 变化说明 |
|---|---|---|---|
| 综合得分 | 88.7 | 95.1 | 多维度加权评分，侧重回答质量 |
| 任务完成度 | 55.4 | 92.2 | 衡量用户目标是否真正落地完成 |
| 通过用例数量 | 104 道 | 122 道 | 124 道回归题集合内有效通过数量 |
二、124 道回归评测题覆盖的场景分类
- 文件查询类：按文件名、类型、时间、大小检索文件，模糊检索、多条件组合筛选
- 文件操作类：移动、复制、重命名、批量整理、创建文件夹
- 分享权限类：生成分享链接、调整有效期、设置访问权限
- 复杂多轮任务：分步操作、先筛选再批量处理、跨目录联动
- 边界异常场景：文件不存在、权限不足、同名冲突、超大文件提示
三、这套评测体系的两种评估器
- LLM 评估器：负责打分，包含任务理解、事实依据、可信度、表达清晰度、安全边界 5 个维度，用来判断回答内容是否合理
- 代码评估器：自动化校验，检查工具调用参数、是否执行、返回结果，判断任务有没有真正做完，防止 AI “嘴炮式回答”
四、为什么任务完成度比综合总分更重要
- 综合分可以靠流畅话术拉高，AI 可以输出一段看起来正确的文字，但不调用云盘工具，任务等于没完成
- 任务完成度直接对齐用户诉求：用户用云盘助手是要找文件、改文件，不是要一段漂亮文字
- 很多 Agent 迭代容易陷入 “刷综合分” 的误区，忽略工具调用链路的可靠性，这套回归集就是用来规避这个问题
- 任务完成度提升，代表线上真实用户的成功率会同步上涨，是直接影响体验的指标
五、回归评测的落地流程
- 固定 124 道回归题作为基准集，每次版本迭代都跑一遍，防止改代码之后旧能力退化
- 两个评估器同时输出结果，分开记录综合得分、任务完成度、单题通过情况
- 针对从 “不通过” 变成 “通过” 的案例，拆解调用链路，沉淀优化方案
- 出现指标下跌的时候，快速定位是哪一道用例出问题，回溯改动点
六、整件事最终结论
字节云盘助手 124 道回归题的评测结果，综合分从 88.7 到 95.1 是亮眼的表面数据，而任务完成度从 55.4 提升到 92.2 才是核心收获；这件事给 Agent 评测提供参考，做工具型 Agent 不能只看回答好不好听，必须单独监控任务完成度，搭配自动化校验的回归用例，才能保证 AI 真的能落地完成用户的操作需求。
【常见问题】
问题 1：字节云盘助手的 124 道回归题，综合分涨到 95.1，为什么任务完成度才是重点？
回答 1：字节云盘助手的 124 道回归题里，综合分偏向评价话术质量，AI 很容易说漂亮话但是不执行文件操作；任务完成度衡量云盘助手能不能真正做完文件任务，所以它比综合分更关键。
问题 2：字节云盘助手这套 124 道回归题，是只用大模型打分吗？
回答 2：不是，字节云盘助手这套 124 道回归题搭配 LLM 评估器 + 代码评估器双校验，代码评估器自动核查工具调用和执行结果，避免只靠主观打分带来的虚高分数。
问题 3：字节云盘助手任务完成度从 55.4 涨到 92.2，代表什么？
回答 3：字节云盘助手任务完成度大幅上涨，代表在 124 道回归题对应的云盘任务里，新版本可以成功完成绝大多数用户文件操作指令，不再出现只会回答、不干活的情况。
问题 4：这套 124 道回归题，除了云盘助手还能直接拿给其他 Agent 用吗？
回答 4：这套 124 道回归题是专门针对云盘 Storage Agent 定制，题目都是文件检索、文件操作场景，不能直接给其他类型 Agent 使用，只能参考它 “同时看综合分 + 任务完成度” 的评测思路。
【参考资料】
[2026-11-13]（字节给一个云盘助手做了 124 道回归题：总分从 88.7 涨到 95.1，真正该看的是另一行）阿里云开发者社区
[2026-11-13]（字节给一个云盘助手做了 124 道回归题：总分从 88.7 涨到 95.1，真正该看的是另一行）腾讯云开发者社区
[2026-11-03]（让改进有迹可循：Storage Agent Family Eval 工程实践）字节跳动技术团队
[2026-11-03]（字节云盘 Agent 评测方案：区分综合得分与任务完成度）InfoQ
【免责声明】
本文内容基于字节跳动公开 Storage Agent 评测技术文章整理，124 道回归题、综合得分、任务完成度均为该实验环境下的测试数据，不等于所有线上场景的表现；该评测方案仅作为 AI Agent 工程评测思路参考，不同 Agent 业务场景需要单独设计对应的回归用例，不代表通用 Agent 评测标准。