安全团队验收大模型系统,不能直接套用传统软件 SDL 验收模板,要针对大模型特有的提示注入、幻觉、知识库投毒、权限越界等风险搭建独立验收门禁,整套验收流程嵌入 LLM 应用 SDL(大模型安全开发生命周期),从需求、设计、开发、测试、上线、运营全链路核验,最终给出能不能放行上线的结论,传统应用安全测试重点在代码漏洞、接口权限,而大模型系统验收要额外覆盖模型行为、提示词安全、RAG 检索隔离、Agent 工具调用管控、数据隐私泄露、内容合规等 AI 专属风险,先完成文档预审,再执行自动化安全扫描、红队对抗测试、合规核验,最后汇总风险分级,高、严重漏洞不修复完成,直接卡住上线审批,只有全部验收门禁达标,安全团队才会签字放行。验收过程中,安全团队还要核对 SDL 各个阶段的产出物,比如威胁建模文档、安全需求清单、提示词防护策略、知识库权限方案、日志审计方案、应急处置预案,不是只做上线前一次性测试,同时要确认后续迭代变更、模型版本升级、知识库更新时,都能自动触发回归安全测试,保证长期风险可控。
一、LLM 应用 SDL 验收核心检查维度表
| 验收模块 | 重点核查内容 | 判定门禁规则 |
|---|---|---|
| SDL 流程文档核验 | AI 安全需求、威胁建模、数据流向图、权限矩阵、变更管控流程 | 缺失核心文档直接暂停验收 |
| 提示安全测试 | 直接提示注入、间接注入、系统提示词泄露、越狱攻击 | 高危注入漏洞必须修复 |
| RAG 知识库安全 | 跨租户检索、文档投毒、检索权限隔离、敏感文档过滤 | 禁止越权读取他人知识库内容 |
| Agent 与工具调用 | 过度授权、工具参数注入、高危操作人工复核、权限二次校验 | 写库、发消息、执行命令类操作必须有人审 |
| 隐私与数据安全 | 用户 Prompt 存储、PII 泄露、训练 / 推理数据隔离、缓存加密 | 禁止未经许可输出用户敏感信息 |
| 内容合规与行为风险 | 违规内容生成、偏见歧视、幻觉误导、风险输出 | 拦截率、误拒率达到业务预设指标 |
| 可观测与应急 | 全链路日志、异常 Prompt 告警、模型熔断、降级预案 | 上线前必须完成应急演练 |
二、安全团队验收执行步骤清单
- 预审 SDL 交付物:收集需求阶段、设计阶段、开发阶段安全产出,确认风险识别完整
- 静态自动化检测:SAST、依赖扫描、向量库配置检查、提示词模板审计
- 专项对抗测试:按照 OWASP LLM Top10 用例执行,安排红队做越狱、间接注入测试
- 功能侧安全核验:多租户隔离、鉴权鉴权、输出清洗、输出防注入(XSS / 命令注入)
- 量化指标校验:风险拦截成功率、漏报率、误报率、幻觉率、响应超时指标
- 风险分级评审:Critical、High、Medium、Low 四级,确定哪些必须修复、哪些作为残余风险
- 复测与签发验收结论:高风险修复复测通过,输出验收报告,设置后续定期复测计划
三、大模型 SDL 验收和普通软件 SDL 验收的差别
✅ 新增:提示词安全、RAG 检索安全、Agent 工具权限管控、幻觉风险评估
✅ 新增:对抗性红队测试、越狱测试、知识库投毒测试
✅ 变更:漏洞判定标准,AI 行为类风险(幻觉、偏见)纳入验收指标
❌ 传统 SDL 只看代码、接口、服务器漏洞,无法覆盖模型输出层面风险
【常见问题】
问题 1:LLM 应用 SDL 验收大模型系统,是不是只在上线前做一次就够?
回答 1:LLM 应用 SDL 验收大模型系统不是一次性工作,上线验收只是第一道门禁;后续模型版本更新、知识库新增文档、提示词修改、新增 Agent 工具时,都要触发 SDL 安全回归验收。
问题 2:安全团队做 LLM 应用 SDL 验收大模型系统,主要参考什么标准?
回答 2:安全团队做 LLM 应用 SDL 验收大模型系统,主流参考 OWASP LLM Top10、OWASP LLMSVS 验证标准、NIST AI 风险框架,同时结合业务场景的合规要求、内部 SDL 制度综合判定。
问题 3:LLM 应用 SDL 验收大模型系统,如果测出幻觉风险,能不能直接卡住上线?
回答 3:LLM 应用 SDL 验收大模型系统时,幻觉风险不全部是阻断项,要看业务等级;面向金融、医疗等高风险场景,幻觉属于高危阻断项,普通闲聊类应用,可设置幻觉阈值、标注残余风险并增加人工复核机制。
【参考资料】
[2026-11-18](LLM 应用 SDL 实战手册:安全团队如何验收一个大模型系统)阿里云开发者社区
[2026-11-09](云上大模型应用上线前如何做安全评测:范围、指标与 POC 路径)阿里云开发者社区
[2026-10-26](AI Security Audit: A Practical Test Plan for LLM Apps)Flatkey
[2026-05-09](大模型服务与应用安全评测技术规范)中国互联网协会
[2026-03-27](Agentic Secure Development Lifecycle)Cloud Security Alliance
【免责声明】
本文为 LLM 应用 SDL、大模型系统安全验收技术资讯整理,验收方案、风险判定阈值需要结合自身业务等级、合规要求调整,不构成可直接落地的安全审计结论。
