如何使用robots.txt 在线检测
- 在工作区填写网站 URL，按需要调整选项。
- 点击开始查询，查看结果和错误提示。
- 核对结果后复制或下载；涉及上线、采购或发布时，再做实际验证。
试一个具体例子
输入 https://www.xunl.net，查看根目录 robots.txt 和声明的 Sitemap。
结果怎样理解
robots.txt 约束协作爬虫的抓取，不用于隐藏敏感信息；Disallow 也不保证网址从搜索结果中消失。本工具展示基础规则，不模拟所有爬虫的完整匹配算法。
常见问题
robots.txt 应该放在哪里？
放在相同协议、主机与端口的根目录 /robots.txt；每个子域名分别管理。
Disallow 能禁止索引吗？
不保证。禁止索引通常使用可被爬取的 noindex；敏感资源应使用访问控制。
能验证规则是否允许某条 URL 吗？
本工具读取并解释文件；复杂通配符、优先级和特定爬虫支持需要结合官方规则验证。