跳到主要内容

Traffichood / 网站诊断

← 全部 SEO 工具

robots.txt 与 AI 爬虫检查器

查看网页路径命中了哪些 robots.txt 规则,比较搜索与 AI 爬虫策略,也可以在发布前测试粘贴的规则。

请输入你有权检查的公开 HTTPS 网页,请勿在网址中包含私密令牌或个人信息。

留空时读取该域名的 robots.txt;也可以粘贴准备修改的规则,测试它们对上方网页路径的影响。最多 65,536 个字符。

游客免费额度为每个网络 IP 每日 5 次,Google 免费账号每日 50 次,两者每分钟均最多 6 次。失败请求与图片加载计入额度,UTC 零点重置;另有共享网络与站点总量安全限制。

服务会处理你提交的网址或内容,网址检查会请求公开网页。请勿提交保密网址或内容。下载的报告保存在你的设备上;只有主动联系时,你才选择分享检查结果。 隐私政策

可以尝试的示例

可用 https://example.com/private/,在规则框粘贴两行:“User-agent: *”和“Disallow: /private/”。这样可以测试禁止规则,不会修改任何网站。

诊断报告

提交后,这里会显示诊断报告。游客可直接进行基础检查,Google 登录后可免费使用完整报告。

  • 01 输入需要检查的具体网页网址,路径会参与规则匹配。
  • 02 留空规则框以读取线上 robots.txt,或粘贴待修改规则进行测试。
  • 03 查看每个爬虫命中的规则,另行核对防火墙与真实访问日志。

适用场景

适合排查抓取限制的网站负责人,以及核对搜索、AI 搜索或模型训练爬虫规则的团队。

如何使用

  1. 输入需要检查的具体网页网址,路径会参与规则匹配。
  2. 留空规则框以读取线上 robots.txt,或粘贴待修改规则进行测试。
  3. 查看每个爬虫命中的规则,另行核对防火墙与真实访问日志。

检查方法与局限

这是 robots.txt 规则检查,不是真实爬虫的网络或索引访问测试。规则允许抓取,不代表爬虫能通过防火墙、渲染网页、完成收录或引用内容。工具按 user-agent 名称匹配策略,不冒充真实爬虫。AI 搜索和模型训练爬虫用途可能不同,规则与产品政策也可能变化,请核对官方文档。

检查方法由 Traffichood 维护。报告呈现公开响应中的规则检查结果,不预测排名,也不确认收录。

常见问题

显示允许,是否代表 AI 能访问或引用?

不能。robots 权限只是一个策略信号,网络、防火墙、页面渲染、索引选择和内容引用是不同环节,本工具没有测量这些结果。

禁止训练爬虫,就等于禁止 AI 搜索吗?

不是。供应商可能为不同产品和用途提供不同的 user-agent,例如 OpenAI 分别说明了 GPTBot 和 OAI-SearchBot。修改前应核对供应商的最新文档。

robots.txt 能保护敏感页面吗?

不能。robots 规则是公开的自愿遵守指令,私密内容需要身份验证和实际访问控制保护。

参考资料