Cómo usarlo
- Para verificar su archivo robots.txt, ingrese la URL del sitio para recuperar el archivo en vivo o pegue la versión que planea publicar en el editor.
- Ingrese una URL o ruta por línea en URL de prueba, elija un rastreador y vea Permitido o Bloqueado con la línea exacta que lo decidió.
- revise la descripción general del rastreador y la verificación de sintaxis, agregue fragmentos si es necesario, luego descargue el nuevo robots.txt y cárguelo en la raíz del sitio.
¿Qué regla gana?
Google primero elige el grupo con el agente de usuario coincidente más específico (Googlebot-Image vence a Googlebot, que vence a *); Los grupos con el mismo nombre se fusionan. Entre las reglas de coincidencia en ese grupo, gana el camino más largo y, en caso de empate, gana Permitir. * coincide con cualquier carácter, $ delimita el final y las rutas distinguen entre mayúsculas y minúsculas.
| Regla | URL | Resultado |
|---|---|---|
| Permitir: /p · No permitir: / | /página | Permitido (/p es más largo) |
| Permitir: /carpeta · No permitir: /carpeta | /carpeta/página | Permitido (un empate va a Permitir) |
| Permitir: /página · No permitir: /*.htm | /página.htm | No permitido (/*.htm es más largo) |
| Permitir: /$ · No permitir: / | / | Permitido ($ ancla el final) |
| No permitir: /*.php$ | /index.php?x=1 | Permitido (con una consulta ya no termina en .php) |
Cómo trata Google la respuesta robots.txt
| Respuesta | Qué hace Google |
|---|---|
| 200 | Rastreo según las reglas del archivo |
| 301 / 302 | Sigue hasta 5 redirecciones y usa el archivo final |
| 404 / 410 | Se trata como sin restricciones: todo se puede rastrear |
| 429/5xx | Pausa de 12 horas y después uso de la última copia válida durante un máximo de 30 días. Sin copia en caché no hay restricciones; si el fallo persiste, también influye la disponibilidad general del sitio. |
| Más de 500 KiB | Solo se leen los primeros 500 KiB; las reglas posteriores se ignoran |
Rastreadores de IA: ¿bloquear o permitir?
Si desea que ChatGPT, Perplexity y Gemini recomienden su sitio, no bloquee los rastreadores de búsqueda de IA (OAI-SearchBot, PerplexityBot). Para mantener el contenido fuera del entrenamiento únicamente, bloquee los rastreadores de entrenamiento (GPTBot, Google-Extended, CCBot). El bloqueo de Google extendido no afecta la clasificación de la Búsqueda de Google.
| Agente de usuario | Empresa | Propósito |
|---|---|---|
| GPTBot | OpenAI | Entrenamiento modelo |
| OAI-SearchBot | OpenAI | Búsqueda de ChatGPT |
| Usuario de ChatGPT | OpenAI | Cuando un usuario le pide a ChatGPT que abra una página |
| ClaudeBot | Antrópico | Entrenamiento y mejora de modelos |
| PerplexityBot | Perplejidad | índice de búsqueda de IA |
| Google-Extended | Entrenamiento y puesta a tierra de Géminis (no afecta la Búsqueda de Google) | |
| Applebot-Extendido | manzana | Entrenamiento de inteligencia de Apple |
| CCBot | rastreo común | Conjunto de datos web abierto utilizado por muchos modelos |
| Araña de bytes | ByteDance | Entrenamiento del modelo ByteDance |
Preguntas frecuentes
¿Cómo reviso mi archivo robots.txt?
Ingrese la URL del sitio anterior y la herramienta buscará /robots.txt desde la raíz del sitio. Luego, indique una URL o ruta por línea en URL de prueba y elija un rastreador para ver Permitido o Bloqueado y la línea exacta que lo decidió. También puedes pegar un archivo robots.txt que aún no esté activo y probarlo primero.
¿Este verificador de robots.txt se puede usar en línea de forma gratuita?
Sí. Es un verificador de robots en línea gratuito que se ejecuta en el navegador sin necesidad de instalar nada. Para recuperar un archivo activo se solicita solo el archivo robots.txt público en la raíz del sitio, además de los mapas del sitio declarados cuando los revisa; Las pruebas de URL se evalúan en su navegador y se solicita una página solo cuando hace clic en la prueba de acceso en vivo.
¿Disallow mantiene una página fuera de Google?
No confiable. Disallow detiene el rastreo, pero si otros sitios enlazan a la URL, Google aún puede indexarlo sin un fragmento. Para mantenerlo fuera, permita el rastreo y agregue una etiqueta noindex o un encabezado X-Robots-Tag: noindex.
¿Por qué los resultados pueden diferir de los de Search Console?
Esta herramienta aplica las reglas publicadas por Google (RFC 9309, coincidencia más larga, Permitir empates) en su navegador, coincidiendo con el analizador de código abierto de Google. Search Console muestra la copia en caché de Google, que puede tardar hasta 24 horas.
¿Los subdominios y http/https comparten un archivo robots.txt?
No. Un archivo robots.txt se aplica solo a su propio protocolo, host y puerto: www.example.com, shop.example.com, http y https, cada uno necesita su propio archivo.
¿Qué hay de malo en bloquear CSS y JS?
Google representa las páginas como un navegador. Con CSS y JS bloqueados, es posible que vea una página en blanco o rota y no pueda juzgar el diseño móvil o el contenido principal, lo que perjudica las clasificaciones. En WordPress, no bloquee /wp-content/ o /wp-includes/.