Promptfoo 是开源、CLI 优先的大模型评测 + 红队安全工具,不用自己手写大量对抗提示词,既能做提示词效果对比、模型质量打分,也能自动生成越狱、提示注入、PII 泄露等攻击用例,适配 GPT、Claude、Llama、Ollama 本地模型、RAG 和 Agent 应用,还支持接入 CI/CD 持续自动化测试,这篇从环境准备、安装、基础评测、红队扫描到结果报告完整跑一遍实测流程,新手跟着敲命令就能出评测报告。它的核心优势是配置用 YAML 声明式写法,不用复杂代码,内置 50 多种漏洞检测插件,支持自定义安全策略,测试完成后会生成可视化风险报表,区分高危、中危、低危漏洞,方便开发和安全同学定位大模型应用风险点。
一、前置环境准备
- 环境依赖:Node.js 18 及以上版本,推荐 Node 20,同时装好 npm 包管理器;
- 密钥准备:对应模型厂商 API Key,例如 OpenAI、Anthropic、Ollama 本地模型不需要云端密钥;
- 目标对象:准备好要测试的对象,可以是公有大模型、本地 Ollama 模型、自研 LLM 接口、RAG 应用、Agent 服务;
- 网络:访问对应模型 API 正常,红队测试会批量发起请求,注意额度和限流。
二、Promptfoo 安装(3 种方式)
| 安装方式 | 命令 | 适用场景 |
|---|---|---|
| npx 临时运行(推荐新手,不用全局装) | npx promptfoo@latest --version | 单次测试、快速体验,用完不残留 |
| npm 全局安装 | npm install -g promptfoo | 长期高频使用,任意目录直接调用 promptfoo 命令 |
| Docker 容器运行 | docker run -it promptfoo/promptfoo | 隔离环境,避免本地依赖冲突 |
安装验证:执行 promptfoo --version,输出版本号就代表安装成功。
三、基础 LLM 评测实操(对比提示词 / 模型效果)
3.1 初始化评测配置文件
在项目文件夹执行:
promptfoo init
自动生成 promptfooconfig.yaml 配置文件,这个文件是评测核心,包含测试 prompt、目标模型、断言规则、测试变量。
3.2 修改 yaml 配置示例
prompts:
- "你是专业客服,简洁回答用户问题:{{query}}"
- "你是客服,回答用户问题,控制在50字以内:{{query}}"
providers:
- openai:gpt-4o-mini
tests:
- vars:
query: "怎么修改账号密码"
assert:
- type: contains
value: "密码"
- prompts:放需要对比的多版提示词
- providers:选择测试模型,支持 ollama:llama3、anthropic:claude 等
- tests:测试用例,vars 是变量,assert 是断言规则,用来自动判断输出是否合格
3.3 启动评测、查看结果
promptfoo eval
跑完之后,打开可视化网页报告:
promptfoo view
网页里可以并排对比不同 prompt、不同模型的输出,查看断言通过率、失败 case,用来做提示词 A/B 测试、模型选型评测。
四、红队测试实战(漏洞扫描,重点)
4.1 初始化红队配置
promptfoo redteam init
会生成红队专用 yaml 配置,需要填写 purpose,也就是你的应用用途,工具会根据用途生成贴合场景的对抗攻击 payload,比如客服机器人、知识库 RAG、代码 Agent。
4.2 红队核心配置说明
redteam:
purpose: "面向企业员工的内部知识库问答机器人"
plugins:
- prompt-injection
- jailbreak
- pii-leak
- hallucination
strategies:
- base64
- leetspeak
- plugins:漏洞插件,支持提示注入、越狱、隐私泄露、SQL 注入、偏见、幻觉、越权访问等 50 + 类型
- strategies:攻击变形策略,base64 编码、谐音、隐形字符等,绕过安全过滤
4.3 执行红队扫描
promptfoo redteam run
这条命令会自动:生成对抗测试用例 → 批量请求目标模型 → 自动判定是否触发漏洞 → 保存测试记录。
跑完生成红队风险报告:
promptfoo redteam report
报告里会标注漏洞等级、攻击 payload、模型原始输出、风险说明,方便修复。
五、常用实用命令清单
只生成红队攻击用例,不执行请求
promptfoo redteam generate
导出评测结果json
promptfoo eval --output result.json
CI/CD无交互模式跑评测
promptfoo eval --no-view
指定本地Ollama模型红队测试
promptfoo redteam run --target ollama:llama3.1
六、常见踩坑点
- API Key 报错:配置环境变量 export OPENAI_API_KEY=xxx,或者在 yaml 里配置;
- 红队跑的很慢:调整并发参数,增加 delay,避免触发厂商限流;
- 本地 Ollama 测试失败:确认 ollama 服务正常、模型已经 pull 到本地;
- 误报很多:补充自定义 policy 断言,贴合自身业务规则,过滤无关告警。
七、总结
Promptfoo 把 LLM 质量评测和安全红队合并到一套工具里,不用分开搭评测框架和红队脚本,开发阶段就可以嵌入自动化校验。日常开发可以用来做提示词迭代、不同版本模型对比;安全阶段批量扫描越狱、提示注入、数据泄露风险;同时报表可以直接交付给合规、安全团队,也能接入 CI 流水线,每次模型更新自动跑一轮基础评测和红队抽检,降低大模型上线风险。
【常见问题】
问题 1:Promptfoo 做 LLM 红队测试,支持本地 Ollama 开源模型吗?
回答 1:支持,Promptfoo 不仅支持 OpenAI、Claude 这类云端 LLM,也原生适配 Ollama 本地模型,红队测试和常规 LLM 评测都可以直接指定 ollama 作为 provider,只需要保证 ollama 服务正常运行,提前拉取对应模型即可。
问题 2:Promptfoo 的 LLM 评测和红队测试能不能放到 CI/CD 自动执行?
回答 2:可以,Promptfoo 提供无交互命令行模式,评测和红队测试命令都支持在 CI 流水线里跑,还可以配置断言失败阻断流程,实现 LLM 应用上线前自动评测、自动红队抽检。
问题 3:Promptfoo 红队测试里的插件是什么,一定要全部开启吗?
回答 3:Promptfoo 红队插件是各类漏洞生成器,包含提示注入、越狱、隐私泄露、幻觉等类型,不用全部开启,根据业务场景选择插件,比如内部知识库重点开启 pii-leak、prompt-injection,对外客服重点开启有害内容、越狱插件,减少无效测试和 token 消耗。
问题 4:Promptfoo 评测必须写 YAML 配置吗,有没有简单快速测试方式?
回答 4:基础快速测试可以用命令行传参,但是正式 LLM 评测、红队测试推荐使用 yaml 配置文件,方便版本管理、复用测试用例、批量管理断言规则,是 Promptfoo 官方推荐的标准用法。
【参考资料】
[2026-11-16](Promptfoo Release Notes)Promptfoo 官方文档
[2026-11-15](Intro - Promptfoo)Promptfoo 官方文档
[2026-11-14](Getting started - Promptfoo)Promptfoo 官方文档
[2026-11-12](Red team Configuration)Promptfoo 官方文档
[2026-11-09](How to red team LLM applications)Promptfoo 官方文档
[2026-02-11](2026 年优秀 AI 红队测试工具全景解析)中北大学信息中心
【免责声明】
本文仅为 Promptfoo 技术实操教程,所有 LLM 红队测试、对抗测试操作仅限在自身拥有合法授权的模型、业务系统内开展;禁止使用本工具对未授权第三方大模型、线上服务进行渗透、越狱攻击;红队测试产生的所有风险由使用者自行承担,请遵守网络安全相关法律法规。
