很多开发使用 AI 自动生成单元测试、自动化断言,CI 上所有测试全部绿灯,上线之后用户依然报 Bug,核心根源是 AI 写断言时,大多对照代码现有行为写预期,而不是对照产品需求写预期;如果业务代码本身存在缺陷,AI 会把这个错误结果当成正确值写入断言,形成 “代码有 bug、断言跟着适配 bug、测试自然通过” 的闭环,再加上 AI 偏爱正向场景、容易写出宽松弱断言、遗漏边界和异常分支,测试报告看着很漂亮,却没法覆盖真实用户的使用场景;想要解决这个问题,不能把断言生成交给 AI 独立完成,必须基于 PRD、需求文档人工校验断言预期,并且补充异常、边界、脏数据场景;总的来说,AI 断言的最大风险是它验证的是代码 “现在是什么样”,而不是需求 “应该是什么样”。
AI 断言不可信的核心原因清单
- 自证闭环,跟着 bug 写预期
- 大量弱断言,校验力度不足
- 偏爱正向快乐路径,边界场景缺失
- 断言幻觉,预期值本身就是错的
- Mock 过度,脱离真实环境
- 把代码覆盖率当成正确性
AI 读取源码生成断言,它看到代码输出什么,就把什么当成正确结果。代码本身逻辑错误,断言直接接纳这个错误,测试永远不会失败。
经常生成 expect(result).toBeDefined() 这类宽松判断,只要返回不为空就通过,哪怕返回值内容完全错误。
AI 更擅长正常输入、正常流程,对空值、负数、超长文本、并发中断、下游依赖超时这类异常场景覆盖很少,而用户 Bug 大多出现在这类场景。
AI 凭空编造预期返回值、DOM 选择器、接口返回字段,编译和运行不会报错,但校验逻辑和真实业务规范不符。
AI 习惯把所有外部依赖全部 mock,测试只验证内部代码串联逻辑,不验证和数据库、第三方接口联动的真实行为,线上环境触发问题。
AI 优先追求行数覆盖率,为了凑覆盖率生成无意义断言,代码跑了一遍,但是没有校验业务结果。
不同断言类型风险对比表
| 断言类型 | 校验效果 | 风险等级 | 说明 |
|---|---|---|---|
| 强业务断言:校验返回值、状态码、业务规则 | 高 | 低 | 基于需求定义预期 |
| 弱存在断言:只判断不为空、存在 | 极低 | 高 | 很容易掩盖业务错误 |
| AI 自动生成、跟随代码行为的断言 | 极低 | 高 | bug 会被固化进测试用例 |
| 人工对照需求编写的边界断言 | 高 | 低 | 专门覆盖异常场景 |
校验 AI 断言的标准化步骤
- 拿到 AI 生成的测试用例和断言,对照需求文档,逐条核对预期结果
- 区分:这个断言是 “代码现在输出”,还是 “需求规定必须输出”
- 删掉所有只有存在判断的弱断言,替换成业务规则校验
- 主动补充空、空数组、负数、超长输入、并发、依赖失败等负向用例
- 减少过度 mock,保留部分真实依赖或者稳定的测试环境
- 做变异测试:故意修改代码逻辑,看断言能不能捕获错误
- 定期根据用户反馈的 Bug,反向补充对应的断言,防止问题复现
简单示例
业务需求:折扣不能大于 100%。
代码 Bug:折扣可以返回 120。
AI 生成断言:expect(getDiscount()).toBe(120),测试直接通过。
人工正确断言:expect(discount).toBeLessThanOrEqual(100)。
【常见问题】
问题 1:测试全通过,用户还是报 Bug,为什么 AI 写的断言不可信?
回答 1:AI 写断言时参考代码当前输出而不是需求,代码有 bug,断言就会把错误结果当成标准,测试自然全部通过,掩盖真实业务缺陷。
问题 2:怎么快速判断 AI 生成的断言是不是弱断言、不可靠?
回答 2:如果断言只判断变量存在、不为 null、不为 undefined,没有校验具体数值、业务状态、规则约束,一般就是弱断言,可信度很低。
问题 3:使用 AI 生成测试断言,怎么做才能避免测试全绿但用户报 Bug?
回答 3:AI 只用来生成测试代码初稿,断言的预期必须对照需求人工定义,增加边界、异常场景,并且用变异测试验证断言能不能抓到错误。
【数据来源】
[2026-11-05](AI 生成断言的闭环缺陷:测试验证代码而非需求)DEV Community
[2026-11-05](LLM 生成测试用例研究:代码覆盖率不等于正确性)arXiv
[2026-11-05](AI 自动化测试避坑:弱断言与幻觉预期)51Testing
【免责声明】
本文仅为 AI 辅助编写测试断言的经验资讯整理,AI 可以辅助生成测试脚本,但断言预期、业务校验逻辑需要人工基于需求复核;测试能否提前捕获用户 Bug,取决于用例设计、环境、数据场景,不代表落地之后一定杜绝线上故障。
