很多企业官网在豆包、ChatGPT、Perplexity 等 AI 搜索里检索不到,大多不是内容质量问题,而是爬虫访问权限、页面可解析性、缺少 AI 引导文件这几类技术问题,这份清单从 robots.txt 权限、页面渲染、WAF 防护、llms.txt 配置、结构化数据、站点地图依次排查,区分清楚 robots.txt 是管控爬虫能不能进网站,llms.txt 是给 AI 模型指引重点内容,二者搭配使用,才能让 AI 正常抓取、理解并且引用官网信息。很多建站模板默认屏蔽 AI 爬虫,或者前端全 JS 渲染,爬虫拿到的空白 HTML,还有 CDN、防火墙的反机器人拦截,就算 robots 放行也抓不到内容;llms.txt 是 2024 年推出的 Markdown 格式指引文件,放在网站根目录,用来告诉 AI 网站简介、核心业务、重点页面链接,属于软引导,不能替代 robots 的访问权限控制。下面把排查清单、文件对比、常见故障原因、整改操作步骤整理清楚。
核心排查清单
- 检查 robots.txt:确认 OAI-SearchBot、Bytespider、Claude-SearchBot、PerplexityBot 等 AI 检索爬虫没有被 Disallow 屏蔽,区分检索爬虫和训练爬虫
- 页面源码检查:直接查看服务端原始 HTML,核心文字、公司介绍、产品信息不能只靠 JS 前端渲染
- 安全拦截检查:CDN、WAF、高防的机器人防护、验证码、JS 校验是否拦截 AI 爬虫 IP
- 站点根目录 llms.txt:确认域名 /llms.txt 可正常访问,返回 200 状态码,包含站点简介、核心页面链接
- sitemap.xml:提供完整站点地图,提交到各大搜索引擎站长平台,方便 AI 爬虫发现页面
- 结构化数据 JSON-LD:添加企业、产品、服务类结构化标签,提升 AI 识别准确率
- 域名与服务器状态:网站可正常公网访问、无频繁 5xx 报错、SSL 证书正常、无跳转死循环
- 信源与外链:少量权威外部链接,帮助 AI 判定站点可信度
robots.txt 与 llms.txt 对比表
| 对比项目 | robots.txt | llms.txt |
|---|---|---|
| 核心作用 | 访问权限管控,硬性拦截或者放行爬虫 | 给 AI 模型的内容指引,推荐重点页面 |
| 文件位置 | 网站根目录 /robots.txt | 网站根目录 /llms.txt |
| 文件格式 | 专用指令语法 | Markdown 格式文本 |
| 生效性质 | 强制,爬虫会遵守禁止规则 | 建议性指引,AI 可选读取,不强制 |
| 诞生时间 | 1994 年,成熟通用标准 | 2024 年,AI 场景新兴规范 |
| 优先级 | 优先级更高,robots 禁止之后,llms.txt 不会被读取 | 不能绕过 robots 的访问限制 |
| 适合场景 | 控制哪些爬虫可以访问网站 | 优化 AI 理解、引用、摘要内容 |
高频故障原因
- robots 误封检索爬虫:直接把 OAI-SearchBot、Bytespider 等检索爬虫全部禁止访问,AI 搜索无法抓取
- 纯前端渲染:页面内容是浏览器 JS 加载,原始 HTML 是空的,爬虫读取不到文字
- 防火墙 / CDN 拦截:开启强机器人防护,AI 爬虫访问直接返回 403、验证码
- 没有 llms.txt:AI 只能自己遍历全站,不容易识别重点业务页面,引用概率下降
- 页面不稳定:经常打不开、超时、跳转异常,爬虫抓取失败
- 混淆训练爬虫和检索爬虫:屏蔽检索爬虫,只想要屏蔽模型训练爬虫,配置错误
整改实操步骤
- 访问域名 /robots.txt,核对 UA 规则,放行 AI 检索爬虫,需要屏蔽训练爬虫单独配置
- 使用 curl 工具直接拉取页面源码,确认公司名称、产品介绍等核心文字在原始 HTML 中
- 进入 CDN、WAF 后台,调低强机器人防护,或者把主流 AI 爬虫 IP 加入白名单
- 编写 llms.txt 文件,填写网站简介、业务范围、重点产品页、联系页面,上传到网站根目录,测试访问返回 200
- 完善 sitemap.xml,提交到百度、Bing 等站长平台,同步更新页面链接
- 在首页、产品页增加 JSON-LD 结构化数据,标注企业信息、服务项目
- 持续观察服务器日志,查看 AI 爬虫访问状态码,确认抓取正常
- 等待生效:robots 和 llms.txt 修改后,一般 1-3 天 AI 索引才会更新
小结
robots.txt 是第一道门禁,决定 AI 爬虫能不能进来;llms.txt 是导航手册,帮助 AI 快速读懂网站核心内容,二者搭配,再解决 JS 渲染、防火墙拦截问题,企业官网才能被 AI 搜索正常检索和引用。
【常见问题】
问题 1:企业官网 AI 搜不到排查方案,从 robots.txt 到 llms.txt 完整技术排查清单,robots.txt 和 llms.txt 哪个优先级更高?
回答 1:企业官网 AI 搜不到排查方案,从 robots.txt 到 llms.txt 完整技术排查清单,robots.txt 优先级更高,如果 robots.txt 禁止 AI 爬虫访问,爬虫根本不会读取 llms.txt。
问题 2:企业官网 AI 搜不到排查方案,从 robots.txt 到 llms.txt 完整技术排查清单,llms.txt 可以解决官网被 AI 爬虫拦截的问题吗?
回答 2:企业官网 AI 搜不到排查方案,从 robots.txt 到 llms.txt 完整技术排查清单,llms.txt 只是 AI 内容指引,不能解决拦截问题,拦截要修改 robots.txt 或者 CDN 防火墙策略。
问题 3:企业官网 AI 搜不到排查方案,从 robots.txt 到 llms.txt 完整技术排查清单,哪些 AI 爬虫是检索爬虫,需要放行?
回答 3:企业官网 AI 搜不到排查方案,从 robots.txt 到 llms.txt 完整技术排查清单,OAI-SearchBot、Bytespider、Claude-SearchBot、PerplexityBot 属于检索爬虫,想要被 AI 搜索引用建议放行。
问题 4:企业官网 AI 搜不到排查方案,从 robots.txt 到 llms.txt 完整技术排查清单,JS 渲染的页面为什么 AI 抓取不到内容?
回答 4:企业官网 AI 搜不到排查方案,从 robots.txt 到 llms.txt 完整技术排查清单,大部分 AI 爬虫默认读取服务器返回的原始 HTML,不会执行前端 JS,内容靠 JS 动态加载,原始源码里没有文字,AI 就读不到内容。
【参考资料】
[2026-11-17](企业官网为什么 AI 搜不到?从 robots.txt 到 llms.txt 的技术排查清单)阿里云开发者社区
[2026-11-16](AI 搜索优化:robots.txt 与 llms.txt 配置教程)阿里云开发者社区
[2026-11-12](llms.txt 规范说明,AI 模型站点指引文件)llmstxt.org
[2026-11-08](AI 爬虫 UA 区分:检索爬虫和训练爬虫配置)互旦科技
[2026-10-25](企业站 AI 收录失败,WAF 与 CDN 拦截排查)Sanbi.ai
【免责声明】
以上内容仅为 AI 站点收录、robots.txt、llms.txt 相关公开技术资料整理,不保证修改后一定可以被所有 AI 搜索收录。AI 平台索引机制、抓取策略由各 AI 厂商独立管控,页面能否被引用还和内容质量、站点可信度、外链情况相关;修改网站爬虫规则前请评估风险,谨慎配置 robots.txt。
