SEO 与站长

搜索与 AI 爬虫访问测试

模拟 Googlebot、Bingbot、GPTBot、ClaudeBot 等 User-Agent,检查公开网页的响应。

◈ 在线查询 · 仅访问公开信息

输入与设置

目标域名或网址将提交到服务器查询;请勿输入含密钥的链接。

结果工作台

填写内容后,点击开始查询。

↗

结果会显示在这里

查看明细、复制或下载,再继续你的工作。

如何使用搜索与 AI 爬虫访问测试

  1. 在工作区填写网站 URL,按需要调整选项。
  2. 点击开始查询,查看结果和错误提示。
  3. 核对结果后复制或下载;涉及上线、采购或发布时,再做实际验证。

试一个具体例子

选择 GPTBot,比较返回状态是否为 200、403 或 503。

结果怎样理解

仅改变 User-Agent,从本站服务器发起请求;不冒充爬虫的来源 IP,也不证明真实爬虫已经抓取、允许抓取或收录。请同时检查 robots.txt 与服务器日志。

常见问题

200 表示已被 AI 收录吗?

不表示。它只说明本次模拟 User-Agent 请求得到 200。

403 一定拦截了真实 Googlebot 吗?

不一定。真实 Googlebot 来源 IP 与本工具不同,应结合官方 IP 验证和日志检查。

该结果是否考虑 robots.txt?

该请求检测 HTTP 响应;robots.txt 规则需单独使用 robots.txt 检测工具查看。