Comment utiliser Search et AI Crawler Access Test
- Entrez le site Web URL et ajustez les options au besoin.
- Exécutez l'outil et inspectez ses résultats, ses preuves et ses limites.
- Copier ou télécharger le résultat, puis le vérifier par rapport au site Web, aux données sources ou aux dossiers commerciaux réels.
Essayez un exemple concret
Comparez la réponse de la page pour les identités disponibles et inspectez ses en-têtes HTTP.
Comment interpréter les résultats
Seule la chaîne User-Agent est simulée. La demande ne provient pas d'un réseau de rampeurs vérifié et n'établit pas de comportement réel de rampage, d'indexation ou d'entraînement à l'IA.
Foire aux questions
En effet. 200 mIl a été indexé par AI?
Ne signifie pas passer. Il indique seulement que cette requête utilisateur-agent simulée a retourné un code d'état de 200.
Est-ce que 403 signifie certainement que le vrai Googlebot a été bloqué ?
Pas nécessairement. La véritable IP source Googlebot diffère de cet outil; combiner avec la vérification IP officielle et les vérifications de l'historique.
Est-ce que ce résultat considère robots.txt?
Cette requête vérifie les réponses HTTP; les règles robot.txt doivent être visualisées séparément à l'aide de l'outil de vérification robot.txt.
Quels sont les rampeurs d'IA tels que GPTBot et ClaudeBot, et devrais-je les bloquer ?
GPTBot (OpenAI), ClaudeBot (anthropique), Google-Extended et des agents similaires sont les rampeurs web des entreprises d'IA qui récupèrent du contenu pour la formation de modèles ou la recherche d'IA; ils s'identifient par User-Agent et suivent robots.txt. Les bloquer empêche ces entreprises de recueillir votre contenu, mais peut aussi réduire vos chances d'être cité dans les réponses AI; les sites Web d'exportation et de marque permettent généralement des pages de produits et de ressources publiques et bloquent uniquement les zones administratives, le contenu des membres et tout ce qui n'est pas destiné à être public. Cet outil montre ce que votre site retourne à ces identités.