So verwenden Sie es
- Um Ihre robots.txt zu überprüfen, geben Sie die Site-URL ein, um die Live-Datei abzurufen, oder fügen Sie die Version, die Sie veröffentlichen möchten, in den Editor ein.
- Geben Sie unter „Test-URLs“ eine URL oder einen Pfad pro Zeile ein, wählen Sie einen Crawler aus und sehen Sie „Zulässig“ oder „Blockiert“ mit der genauen Zeile, die die Entscheidung getroffen hat.
- Überprüfen Sie die Crawler-Übersicht und die Syntaxprüfung, fügen Sie bei Bedarf Snippets hinzu, laden Sie dann die neue robots.txt herunter und laden Sie sie in das Stammverzeichnis der Website hoch.
Welche Regel gewinnt?
Google wählt zuerst die Gruppe mit dem spezifischsten passenden User-Agent aus (Googlebot-Image schlägt Googlebot, der * übertrifft); Gruppen mit demselben Namen werden zusammengeführt. Unter den übereinstimmenden Regeln in dieser Gruppe gewinnt der längste Weg, und bei Gleichstand gewinnt Allow. * entspricht allen Zeichen, $ verankert das Ende und bei Pfaden wird die Groß-/Kleinschreibung beachtet.
| Regel | URL | Ergebnis |
|---|---|---|
| Erlauben: /p · Nicht zulassen: / | /page | Erlaubt (/p ist länger) |
| Erlauben: /folder · Nicht zulassen: /folder | /folder/page | Erlaubt (ein Gleichstand geht an Erlauben) |
| Erlauben: /page · Nicht zulassen: /*.htm | /page.htm | Nicht zulässig (/*.htm ist länger) |
| Erlauben: /$ · Nicht zulassen: / | / | Erlaubt ($ verankert das Ende) |
| Nicht zulassen: /*.php$ | /index.php?x=1 | Erlaubt (bei einer Abfrage endet es nicht mehr in .php) |
Wie Google die robots.txt-Antwort behandelt
| Antwort | Was Google macht |
|---|---|
| 200 | Crawlt nach den Regeln in der Datei |
| 301 / 302 | Verfolgt bis zu 5 Weiterleitungen und verwendet die endgültige Datei |
| 404 / 410 | Wird als keine Einschränkung behandelt: Alles kann gecrawlt werden |
| 429 / 5xx | Zunächst 12 Stunden pausieren, danach bis zu 30 Tage lang die letzte gültige Kopie verwenden. Ohne Cache-Kopie gelten keine Einschränkungen; bei anhaltenden Fehlern spielt auch die Erreichbarkeit der Website eine Rolle. |
| Über 500 KiB | Nur die ersten 500 KiB werden gelesen; Spätere Regeln werden ignoriert |
KI-Crawler: blockieren oder zulassen?
Wenn Sie möchten, dass ChatGPT, Perplexity und Gemini Ihre Website weiterempfehlen, blockieren Sie keine KI-Suchcrawler (OAI-SearchBot, PerplexityBot). Um Inhalte nur aus dem Training herauszuhalten, blockieren Sie Trainings-Crawler (GPTBot, Google-Extended, CCBot). Das Blockieren von Google-Extended hat keinen Einfluss auf das Google-Suchranking.
| Benutzeragent | Unternehmen | Zweck |
|---|---|---|
| GPTBot | OpenAI | Modelltraining |
| OAI-SearchBot | OpenAI | ChatGPT-Suche |
| ChatGPT-Benutzer | OpenAI | Wenn ein Benutzer ChatGPT auffordert, eine Seite zu öffnen |
| ClaudeBot | Anthropisch | Modelle trainieren und verbessern |
| PerplexityBot | Ratlosigkeit | KI-Suchindex |
| Google-Extended | Zwillingstraining und Erdung (beeinflusst nicht die Google-Suche) | |
| Applebot-Extended | Apple | Apple Intelligence-Schulung |
| CCBot | Häufiges Crawlen | Offener Webdatensatz, der von vielen Modellen verwendet wird |
| Bytespider | ByteDance | ByteDance-Modelltraining |
Häufig gestellte Fragen
Wie überprüfe ich meine robots.txt?
Geben Sie oben die Site-URL ein und das Tool ruft /robots.txt aus dem Site-Stammverzeichnis ab. Listen Sie dann unter Test-URLs eine URL oder einen Pfad pro Zeile auf und wählen Sie einen Crawler aus, um „Zulässig“ oder „Blockiert“ sowie die genaue Zeile anzuzeigen, die die Entscheidung getroffen hat. Sie können auch eine robots.txt-Datei einfügen, die noch nicht live ist, und diese zunächst testen.
Kann dieser robots.txt-Checker kostenlos online verwendet werden?
Ja. Es handelt sich um einen kostenlosen Online-Robots-Checker, der im Browser ausgeführt wird und keine Installation erfordert. Beim Abrufen einer Live-Datei werden nur die öffentliche robots.txt-Datei im Stammverzeichnis der Site sowie die deklarierten Sitemaps angefordert, wenn Sie diese überprüfen. URL-Tests werden in Ihrem Browser ausgewertet und eine Seite wird erst angefordert, wenn Sie auf den Live-Zugriffstest klicken.
Hält Disallow eine Seite von Google fern?
Nicht zuverlässig. „Disallow“ stoppt das Crawling, aber wenn andere Websites auf die URL verlinken, indiziert Google sie möglicherweise trotzdem ohne Snippet. Um dies zu verhindern, erlauben Sie das Crawlen und fügen Sie ein Noindex-Tag oder einen X-Robots-Tag: Noindex-Header hinzu.
Warum können die Ergebnisse von denen der Search Console abweichen?
Dieses Tool wendet die von Google veröffentlichten Regeln (RFC 9309, längste Übereinstimmung, Bei Bindungen zulassen) in Ihrem Browser an und stimmt mit dem Open-Source-Parser von Google überein. Die Search Console zeigt die zwischengespeicherte Kopie von Google an, die bis zu 24 Stunden verzögert sein kann.
Teilen sich Subdomains und http/https eine robots.txt?
Nein. Eine robots.txt gilt nur für ihr eigenes Protokoll, ihren eigenen Host und ihren eigenen Port: www.example.com, shop.example.com, http und https benötigen jeweils eine eigene Datei.
Was ist falsch daran, CSS und JS zu blockieren?
Google rendert Seiten wie ein Browser. Wenn CSS und JS blockiert sind, wird möglicherweise eine leere oder defekte Seite angezeigt und das mobile Layout oder der Hauptinhalt kann nicht beurteilt werden, was sich negativ auf das Ranking auswirkt. Blockieren Sie unter WordPress nicht /wp-content/ oder /wp-includes/.