Comment l'utiliser
- Pour vérifier votre robot.txt, entrez le site URL pour récupérer le fichier en direct, ou collez la version que vous prévoyez publier dans l'éditeur.
- Saisissez un URL ou un chemin par ligne sous les URLs de test, choisissez un crawler, et voyez Autorisé ou bloqué avec la ligne exacte qui l'a décidé.
- Passez en revue la vue d'ensemble et la syntaxe, ajoutez des extraits si nécessaire, puis téléchargez les nouveaux robots.txt et téléchargez-le sur la racine du site.
Comment Google décide si un URL peut être rampé
- Récupérer /robots.txtUn fichier par protocole, hôte et port; jusqu'à 500 KiB est lu.
- Vérifiez le code d'état2xx: appliquer les règles; 4xx: aucune restriction; 5xx/429: faire une pause ou utiliser la copie mise en cache.
- Choisir le groupeUtilisez le groupe dont l'utilisateur-agent correspond au rampeur; sinon l'utilisateur-agent: *; les groupes avec le même nom fusionnent.
- Trouver le match le plus longParmi les règles Autoriser / Refuser le chemin le plus long (compter * et $) gagne; sur une égalité Autoriser gagne.
- VerdictAucune règle d'appariement n'est autorisée. Autorisé à ramper ne signifie pas indexé.
Quelle règle gagne ?
Google choisit d'abord le groupe avec l'agent utilisateur le plus spécifique correspondant (Googlebot-Image bat Googlebot, qui bat *); les groupes ayant le même nom sont fusionnés. Parmi les règles de correspondance dans ce groupe, le chemin le plus long gagne, et sur une égalité Autoriser gagne. * correspond à tous les caractères, $ ancre la fin, et les chemins sont sensibles à la casse.
| Règle | URL | Résultat |
|---|---|---|
| Permettre: /p · Refuser: / | /page | Autorisé (/p est plus long) |
| Permettre : /dossier · Refuser : /dossier | /dossier/page | Autorisé (une égalité va à Autorisé) |
| Permettre: /page · Refuser: /*.htm | /page.htm | Refusé (/*.htm est plus long) |
| Permettre : /$ · Refuser : / | / | Autorisé ($ ancre la fin) |
| Autoriser : /page · Refuser : /page$ | /page | Refusé (/page$ est plus long; nombre de dollars) |
| Refus: /docs/ · Autoriser: /docs/index.html | /docs/ | Autorisé (Google traite index.html comme /docs/$) |
| Refuser: /*.php$ | /index.php?x=1 | Autorisé (avec une requête il ne se termine plus dans .php) |
Comment Google traite la réponse robots.txt
| Réponse | Que fait Google |
|---|---|
| 200 | Crawls par les règles dans le fichier |
| 301 / 302 | Suivi jusqu'à 5 redirections et utilise le fichier final |
| 404 / 410 | Traitement sans restriction : tout peut être rampé |
| 429 / 5xx | Pause pendant 12 heures, puis utiliser la dernière bonne copie pendant 30 jours. Sans copie mise en cache, il n'y a pas de restrictions; la défaillance persistante dépend également de la disponibilité du site. |
| Plus de 500 KiB | Seul le premier 500 KiB est lu; les règles ultérieures sont ignorées |
Rampeurs d'IA : bloquer ou permettre ?
Si vous voulez que ChatGPT, Perplexity et Gemini recommandent votre site, ne bloquez pas les rampeurs de recherche AI (OAI-SearchBot, PerplexityBot). Pour garder le contenu hors de l'entraînement seulement, bloquez les rampeurs d'entraînement (GPTBot, Google-Extended, CCBot). Bloquer Google-Extended n'affecte pas les classements de recherche Google.
| Agent utilisateur | Société | Objet |
|---|---|---|
| GPTBot | OpenAI | Formation modèle |
| OAI-SearchBot | OpenAI | Recherche ChatGPT |
| ChatGPT-Utilisateur | OpenAI | Quand un utilisateur demande à ChatGPT d'ouvrir une page |
| ClaudeBot | Anthropique | Formation et amélioration des modèles |
| PerplexitéBot | Perplexité | Indice de recherche AI |
| Google-Extended | Formation et mise à la terre Gemini (n'affecte pas la recherche Google) | |
| Extended Applebots | Pommes | Formation Apple Intelligence |
| CCBot | Crawl commun | Ensemble de données web ouvert utilisé par de nombreux modèles |
| Plus vite. | ByteDance | Formation au modèle ByteDance |
Foire aux questions
Comment puis-je vérifier mes robots.txt?
Saisissez le site URL ci-dessus et l'outil récupère /robots.txt de la racine du site. Ensuite, listez un URL ou chemin par ligne sous Test URLs et choisissez un rampeur pour voir Autorisé ou bloqué et la ligne exacte qui l'a décidé. Vous pouvez aussi coller un robot.txt qui n'est pas encore en vie et le tester d'abord.
Est-ce que ce robot.txt checker est libre d'utiliser en ligne?
Oui. C'est un testeur de robots en ligne gratuit qui fonctionne dans le navigateur avec rien à installer. La saisie d'un fichier en direct ne demande que les robots.txt publics à la racine du site, plus les plans de site déclarés lorsque vous les vérifiez; les tests URL sont évalués dans votre navigateur, et une page n'est demandée que lorsque vous cliquez sur le test d'accès en direct.
Est-ce qu'il est interdit de garder une page en dehors de Google?
Pas fiable. L'interdiction cesse de ramper, mais si d'autres sites se connectent au URL Google peut encore l'indexer sans un extrait. Pour le garder en dehors, laissez ramper et ajoutez une balise noindex ou un en-tête X-Robots-Tag: noindex.
Pourquoi les résultats peuvent-ils différer de Search Console?
Cet outil de navigateur simule les règles d'appariement de robots.txt publiées par Google ; il ne s'agit pas de l'analyseur officiel de Google ou d'un résultat en direct. Google cache généralement robots.txt pendant environ 24 heures et peut le garder plus longtemps après des temps morts ou des erreurs de serveur. Les versions de fichiers, l'identité de la rampe, les restrictions d'accès et les implémentations de la rampe peuvent changer le résultat.
Puis-je tester un agent utilisateur personnalisé ?
Oui. Choisissez « user-agent personnalisé » dans la liste des rampleurs et entrez un nom de rampleurs comme MyBot ou une chaîne d'utilisateurs-agent complète. L'outil extrait le jeton du produit, choisit le groupe qu'il obéit et montre si c'est son propre groupe ou le groupe User-agent: *.
Puis-je prévisualiser l'effet d'une édition avant de la publier ?
Oui. Saisissez le fichier en direct, puis modifiez-le. La table de test ajoute une colonne de fichier Live et affiche chaque URL dont le résultat change. Quand il semble juste, télécharger le nouveau fichier et le télécharger sur la racine du site.
Les sous-domaines et https partagent-ils un robot.txt?
C'est pas vrai. Un robot.txt ne s'applique qu'à son propre protocole, hôte et port : www.exemple.com, shop.exemple.com, http et https ont chacun besoin de leur propre fichier.
Qu'est-ce qui ne va pas avec le blocage de CSS et JS ?
Google rend les pages comme un navigateur. Avec CSS et JS bloqués, il peut voir une page vide ou cassée et ne peut pas juger la mise en page mobile ou le contenu principal, ce qui nuit au classement. Sur WordPress, ne bloquez pas /wp-content/ ou /wp-includes/.