Como usar o gerador de robots.txt
- Informe o Endereço do site e ajuste as opções conforme necessário.
- Execute a ferramenta e analise os resultados, as evidências e as limitações.
- Copie ou baixe o resultado e depois confira-o com o site real, os dados de origem ou os registros da empresa.
Experimente um exemplo concreto
Use https://www.ssevening.com com /admin/ e /cart/ como caminhos proibidos e depois verifique o arquivo resultante.
Como interpretar os resultados
Gera User-agent: * e linhas Disallow individuais. Uma lista vazia não adiciona restrições; / bloqueia todo o espaço de caminhos. Verifique em um ambiente de teste antes de substituir o arquivo da raiz e confira se o sitemap declarado existe.
Perguntas frequentes
O que significa um Disallow vazio?
Um valor vazio significa nenhuma restrição de rastreamento para este grupo de rastreadores.
Ele pode ser usado para proteger painéis administrativos?
Não. Portais administrativos exigem autenticação e controles de acesso, enquanto o robots.txt é publicamente visível.
Por que há uma linha Sitemap?
Ela dá pistas sobre URLs públicas de sitemap; garanta que o arquivo XML realmente exista.
Para que serve um arquivo robots.txt?
O robots.txt fica na raiz do site (por exemplo https://www.example.com/robots.txt) e diz aos rastreadores dos mecanismos de busca quais caminhos não rastrear; também pode indicar a URL do seu sitemap. É um pedido sobre rastreamento, não um controle de segurança: uma URL bloqueada com links externos ainda pode aparecer nos resultados sem snippet. Use noindex nas páginas que você não quer indexadas e proteja áreas privadas, como painéis de administração, com login ou permissões.