先说结论:测试里的确定性,不该被当成 AI 和脚本二选一的赌注,而应该被放在 "裁决层" 上。正确的站位是让 AI 负责摸路 —— 理解目标、自主导航、适应界面变化,让脚本和纯代码负责守路 —— 用固定断言判定通过还是失败。换句话说,导航可以交给模型,判决必须交给代码。原因在于,脚本驱动测试天然可重复但天生脆弱:按钮改名、表单挪位置、多出一个 Cookie 横幅,脚本就会报错,哪怕产品本身没问题;而 AI 智能体虽然能像人一样临场找路,可一旦让同一个模型既开车又记分,它的判断每次运行都会飘,周一过、周二挂,这种 "摇摆的判决" 对 QA 团队比没有判决更危险。落地的步骤也很直接:先把正确性不容出错的支付、权限、计算类流程圈出来,全部用硬编码断言和 API 步骤锁定;再把界面频繁变动、只需要 "走到就行" 的探索性路径交给智能体;最后用录制缓存让稳定流程零模型调用回放,把模型的主观意见单独标注为 "参考项",绝不混进通过 / 失败名单。这样做的结论很清楚:AI 负责扩大覆盖、发现脚本想不到的路径,脚本负责守住底线、给出可以半夜叫人的稳定判决,两者不是替代关系,而是同一套测试体系里的上下两层。
一、先把账算清:脚本和 AI 各强在哪、各怕什么
脚本测试(scripted testing)是一段显式指令序列:点这个选择器、填那个字段、断言这个元素存在。它最大的资产就是确定性 —— 跑两次,结果一样,这正是一个测试最该有的属性;它最大的负债是 "只知道写脚本时想到的东西",结构上发现不了工程师没预设的路径。
AI 智能体测试(agentic testing)则是你用一句自然语言声明目标,比如 "用这个邮箱注册并到达仪表盘",由模型运行时自己决定点哪里、怎么绕开界面歧义。它换来的是对改版的适应力,代价是每次运行都要重新解释一遍页面,推理要花 token 和时间,且模型判罚天然不可重复。
| 对比维度 | 脚本自动化 | AI 智能体测试 |
|---|---|---|
| 编写方式 | 手写选择器、搭 Page Object | 写一句自然语言目标 |
| 面对界面改版 | 选择器失效,必须改代码 | 运行时自适应,无需改代码 |
| 默认确定性 | 高,可重复 | 仅硬断言和 API 步骤确定,模型判断项会飘 |
| 首轮速度 | 快,无推理 | 较慢,需推理;缓存回放后接近脚本速度 |
| 维护负担 | 高,选择器随 DOM 腐烂 | 低,意图能扛住重构 |
| 最擅长 | 稳定、高频、正确性关键的回归 | 频繁变动的 UI、探索性检查、智能体验证 |
这张表要横着读,不是互相拆台,而是各管一段。
二、确定性到底死在哪:两个来源,别归错账
"AI 测试不稳定" 这句话只对了一半。测试抖动(flaky)有两个来源,只有一个和智能体有关:
- 环境不稳定:时序问题、异步状态、共享夹具、慢网络。这是所有测试的通病,纯脚本测试一样会抖,不是 AI 带来的原罪。
- 让模型当裁判:直接问大模型 "这步过了吗" 并采信它的回答。输出在构造上就是非确定的,判决自然次次晃。这才是大家骂 "agentic 测试 flaky" 时真正指的东西,而且完全可以避免。
一个容易被混淆的概念:"AI 测试是不是确定的" 其实藏着两个问题 —— 一是 "能不能测一个本身不确定的 AI 产品"(比如聊天机器人输出每次不同,需要用区间和多次平均来评);二是 "一次 AI 驱动的测试运行能不能重复"。对普通 Web 应用的团队,问的是第二个,答案是:只要判决由代码算,就能重复;导航路径允许不同,判决必须固定。
三、确定性的正确站位:导航层和裁决层分家
值得信任的架构是一条硬约束:LLM 负责导航,纯代码负责验证;模型给出的主观 UX 评价只能进 "参考层",永远不算判决。
- 导航层(模型的活):智能体驱动真实浏览器,只靠 "行动、观察、提取" 三个原语找按钮、处理移位的字段、走完多屏表单。这是真正需要模型的地方,适应力就来自这里。
- 裁决层(代码的活):底层纯代码框架记录每次运行的全部痕迹 —— 每条网络请求与响应、控制台输出、URL、Cookie、截图;跑完后,用你事先批准过的规格做确定性检查:最终 URL 是字符串比对,提交是看真实状态码。同一个规格跑两次,判决相同。
- 参考层(advisory):模型那句 "这段报错文案好像有误导性" 单独标注为意见,和已验证发现分开放,绝不并列。
还有一个实际收益:流程被固定选择器确认过之后,回放走的是同一条纯代码路径,零模型调用 —— 确定性验证不只是更可信,重复跑还更便宜。
四、落地清单:怎么把分层真正搭起来
- 先圈定正确性禁区:支付金额、税费计算、权限边界、合规相关流程,全部用硬断言和 API 种子数据,判决环节不允许出现模型。
- 把模糊的中间段交给智能体:导航、"不管今天页面长什么样把我带到正确的页面"、多步探索,这些选择器腐烂最快的地方,正是智能体适应力最值钱的地方。
- 暖缓存再跑便宜的:首次绿色运行记录动作,之后相同运行直接回放,页面真变了智能体才重新推理;稳态接近脚本的速度和可重复性。
- 失败用例自动重跑过滤环境噪声:短暂时序抖动重跑一次区分真失败和假警报,这是成熟 agentic 平台的标配做法。
- 建可观测性:引入智能体前,先保证团队读得懂它的探索轨迹;没有轨迹可见性,智能体就是个黑箱,谈不上信任。
- 从一个场景跑通闭环:别一上来全面替换脚本,选一个风险可控、业务重要度适中的场景,走完 "意图定义 — 智能体探索 — 结果评估 — 反馈迭代",再铺开。
五、选型时只问一个问题
评估任何 AI QA 工具,不用参与范式之争,只问一句:当它说 "这个能用" 的时候,是谁检查的 —— 模型,还是纯代码? 追问一句:它的验证是读真实 DOM、网络响应、Cookie 的确定性检查,还是模型盯着屏幕形成的印象?它会不会在自己被卡住、某一步没走到时,依然自信地报 "全部通过"?一个可信的工具,会把 "我证明了的" 和 "我只是觉得的" 清清楚楚分开给你看。
【相关 FAQ】
问题 1:为什么说测试确定性不能交给 AI 来判决,而要交给脚本?
回答 1:因为大模型的输出在构造上是非确定的,让它判定通过 / 失败,同一条流程可能这次过、下次挂,这种摇摆的判决会训练团队忽略红灯;脚本断言是字符串比对、状态码核对这类固定检查,同一次记录跑两次得到同一判决。所以测试确定性必须站在代码裁决层,AI 只负责摸路导航。
问题 2:AI 摸路会不会让测试变得不稳定,是不是就不如脚本守路可靠?
回答 2:不会。抖动有两个来源,环境时序问题连纯脚本测试也躲不掉;真正可避免的是 "让模型记分"。把 AI 摸路限定在导航层、把判决交给脚本硬断言之后,判决可重复,整套组合反而比一碰选择器就断的脆弱脚本更稳。
问题 3:AI 生成的测试用例本身可靠吗,能不能直接当守路的回归用?
回答 3:只能部分采信。AI 能快速抬高覆盖率,但它生成的断言往往记录的是 "代码现在在做什么" 而不是 "代码应该做什么",对着有 bug 的应用写测试会把 bug 锁死。守路用的回归判决必须是确定性的、面向预期行为的 oracle,不能由写用例的同一个模型自己推断。
问题 4:既然要 AI 摸路、脚本守路,那团队还需要传统测试脚本和 QA 人员吗?
回答 4:需要,而且是分工不是替代。AI 负责走已知流程、重复机械检查、浮浅发现;人类负责探索性测试、业务逻辑判断,以及定义 "什么叫对"。支付、权限这类正确性关键的高频回归仍应由脚本守路,稳定庞大的旧套件直接用脚本回放就是最划算的选择。
【参考资料】
[2026-08-04](Agentic Testing vs Traditional Test Automation in 2026)browserbash.com
[2026-07-06](AI-Powered Test Automation vs Traditional: What Changes)techintelix.com
[2026-07-02](看懂 AI 测试工具的四种类型)腾讯云开发者社区
[2026-06-21](Agentic testing vs scripted testing: can you trust an LLM?)prufa.dev
[2026-04-10](Flakiness in Automated Testing: Reasons and How to Reduce It)TestBooster.ai
[2026-04-03](从脚本到智能体:测试范式正在消失)腾讯云开发者社区
[2025-12-28](Flaky Tests - How to Get Rid of Them)testRigor
[2025-12-17](Skyramp Agentic Experience Beta: AI-Powered Deterministic Testing)skyramp.dev
[2025-08-19](AI's Impact on Software Testing: Autonomous Agents and Self-Evolving Test Suites)CrashBytes
[2025-04](Next-Generation Software Testing: AI-Powered Test Automation)IEEE Computer Society
【免责声明】
本文为基于公开技术资料整理的观点性内容,所涉及的工具名称、架构方式与对比结论仅作技术交流参考,不构成任何采购、选型或工程承诺;具体测试方案的确定性效果、成本与适用性,需结合团队实际业务场景、环境条件与工具最新版本自行验证评估。
