如何使用robots.txt 生成器
- 在工作区填写网站地址，按需要调整选项。
- 点击生成结果，查看结果和错误提示。
- 核对结果后复制或下载；涉及上线、采购或发布时，再做实际验证。
试一个具体例子
网站 https://example.com，禁止 /admin/ 与 /cart/，自动生成 Sitemap 声明。
结果怎样理解
使用 User-agent: * 和逐行 Disallow。留空代表不新增限制；禁止所有内容需谨慎输入 /。生成后先在测试环境验证，再替换网站根目录文件。
常见问题
空 Disallow 是什么意思？
空值表示不限制该组爬虫的抓取。
能用它保护后台吗？
不能。后台需要登录和权限控制，robots.txt 公开可见。
为什么有 Sitemap 行？
它提供 Sitemap 的公开地址线索；应确保该 XML 文件实际存在。