Traffichood / 网站诊断
← 全部 SEO 工具robots.txt 与 AI 爬虫检查器
查看网页路径命中了哪些 robots.txt 规则,比较搜索与 AI 爬虫策略,也可以在发布前测试粘贴的规则。
服务会处理你提交的网址或内容,网址检查会请求公开网页。请勿提交保密网址或内容。下载的报告保存在你的设备上;只有主动联系时,你才选择分享检查结果。 隐私政策
可以尝试的示例
可用 https://example.com/private/,在规则框粘贴两行:“User-agent: *”和“Disallow: /private/”。这样可以测试禁止规则,不会修改任何网站。
诊断报告
提交后,这里会显示诊断报告。游客可直接进行基础检查,Google 登录后可免费使用完整报告。
- 01 输入需要检查的具体网页网址,路径会参与规则匹配。
- 02 留空规则框以读取线上 robots.txt,或粘贴待修改规则进行测试。
- 03 查看每个爬虫命中的规则,另行核对防火墙与真实访问日志。
诊断报告
- 已通过
- 0
- 待核对
- 0
- 发现问题
- 0
这份报告的检查边界
适用场景
适合排查抓取限制的网站负责人,以及核对搜索、AI 搜索或模型训练爬虫规则的团队。
如何使用
- 输入需要检查的具体网页网址,路径会参与规则匹配。
- 留空规则框以读取线上 robots.txt,或粘贴待修改规则进行测试。
- 查看每个爬虫命中的规则,另行核对防火墙与真实访问日志。
检查方法与局限
这是 robots.txt 规则检查,不是真实爬虫的网络或索引访问测试。规则允许抓取,不代表爬虫能通过防火墙、渲染网页、完成收录或引用内容。工具按 user-agent 名称匹配策略,不冒充真实爬虫。AI 搜索和模型训练爬虫用途可能不同,规则与产品政策也可能变化,请核对官方文档。
检查方法由 Traffichood 维护。报告呈现公开响应中的规则检查结果,不预测排名,也不确认收录。
常见问题
显示允许,是否代表 AI 能访问或引用?
不能。robots 权限只是一个策略信号,网络、防火墙、页面渲染、索引选择和内容引用是不同环节,本工具没有测量这些结果。
禁止训练爬虫,就等于禁止 AI 搜索吗?
不是。供应商可能为不同产品和用途提供不同的 user-agent,例如 OpenAI 分别说明了 GPTBot 和 OAI-SearchBot。修改前应核对供应商的最新文档。
robots.txt 能保护敏感页面吗?
不能。robots 规则是公开的自愿遵守指令,私密内容需要身份验证和实际访问控制保护。
参考资料
- Google: robots.txt specification
爬虫组、路径匹配与优先级。
- RFC 9309: Robots Exclusion Protocol
robots.txt 规则匹配的协议定义。
- OpenAI: crawler overview
搜索、用户触发访问与训练爬虫的用途区别。
- Cloudflare: AI Crawl Control and WAF
防火墙限制为何需要与 robots 规则分别检查。