如何使用搜索与 AI 爬虫访问测试
- 在工作区填写网站 URL,按需要调整选项。
- 点击开始查询,查看结果和错误提示。
- 核对结果后复制或下载;涉及上线、采购或发布时,再做实际验证。
试一个具体例子
选择 GPTBot,比较返回状态是否为 200、403 或 503。
结果怎样理解
仅改变 User-Agent,从本站服务器发起请求;不冒充爬虫的来源 IP,也不证明真实爬虫已经抓取、允许抓取或收录。请同时检查 robots.txt 与服务器日志。
常见问题
200 表示已被 AI 收录吗?
不表示。它只说明本次模拟 User-Agent 请求得到 200。
403 一定拦截了真实 Googlebot 吗?
不一定。真实 Googlebot 来源 IP 与本工具不同,应结合官方 IP 验证和日志检查。
该结果是否考虑 robots.txt?
该请求检测 HTTP 响应;robots.txt 规则需单独使用 robots.txt 检测工具查看。