Cómo utilizar el generador robots.txt
- Ingrese la dirección del sitio web y ajuste las opciones según sea necesario.
- Ejecute la herramienta e inspeccione sus resultados, evidencia y limitaciones.
- Copie o descargue el resultado y luego verifíquelo con el sitio web real, los datos de origen o los registros comerciales.
Pruebe un ejemplo concreto
Utilice https://www.ssevening.com con /admin/ y /cart/ como rutas no permitidas, luego verifique el archivo resultante.
Cómo interpretar los resultados
Genera User-agent: * y líneas individuales No permitidas. Una lista vacía no añade restricciones; / bloquea todo el espacio del camino. Verifique en un entorno de prueba antes de reemplazar el archivo raíz y verifique que exista el mapa del sitio declarado.
Preguntas frecuentes
¿Qué significa un No permitir vacío?
Un valor vacío significa que no hay restricciones de rastreo para este grupo de rastreadores.
¿Se puede utilizar para proteger los paneles de administración backend?
No. Los portales de administración requieren autenticación y controles de acceso, mientras que robots.txt es visible públicamente.
¿Por qué hay una línea de mapa del sitio?
Proporciona pistas para las URL de mapas de sitios públicos; asegúrese de que el archivo XML realmente exista.