robots.txt erklärt: Crawler steuern, ohne Rankings zu gefährden

Kaum eine Datei auf einer Website ist so klein und gleichzeitig so riskant wie die robots.txt. Meist enthält sie nur ein paar Zeilen. Steht dort aber die falsche Anweisung, ruft Google wichtige Seiten nicht mehr ab – und neue Inhalte tauchen nicht in den Suchergebnissen auf. Umgekehrt glauben viele, sie könnten mit der robots.txt Seiten „verstecken“. Auch das funktioniert nicht so, wie man denkt.

Hier erfahren Sie, was die Datei tatsächlich steuert, wie sie aufgebaut ist, welche Regeln für Firmenwebsites sinnvoll sind und welche Fehler wir in der Praxis immer wieder sehen.

Was ist die robots.txt?

Die robots.txt ist eine einfache Textdatei, in der Website-Betreiber festlegen, welche Bereiche automatische Programme – sogenannte Crawler oder Bots – abrufen dürfen. Das zugrunde liegende Robots Exclusion Protocol gibt es seit den 1990er-Jahren; seit September 2022 ist es als RFC 9309 offiziell bei der Internet Engineering Task Force standardisiert.

Google nennt als Hauptzweck, den Crawler-Verkehr zu steuern und den Server nicht zu überlasten. Daneben lässt sich verhindern, dass unwichtige oder doppelte Bereiche gecrawlt werden, und Mediendateien können aus der Bild- oder Videosuche herausgehalten werden.

Wichtig für das Verständnis: Die robots.txt ist eine Bitte, keine Sperre. Seriöse Crawler wie der Googlebot halten sich daran, andere nicht. Der Standard selbst stellt klar, dass die Regeln keine Form der Zugriffsberechtigung sind. Vertrauliche Inhalte gehören deshalb hinter ein Passwort – nicht in eine robots.txt, die jeder im Browser lesen kann.

Wo liegt die Datei, und wofür gilt sie?

Die robots.txt muss genau so heißen und im obersten Verzeichnis des Hosts liegen, also unter https://www.beispiel.de/robots.txt. Eine Datei in einem Unterordner wird nicht beachtet. Laut Google gelten die Regeln nur für genau den Host, das Protokoll und den Port, unter dem die Datei liegt:

• Eine Subdomain wie shop.beispiel.de braucht eine eigene robots.txt.
• Die Datei muss als UTF-8-Text gespeichert sein.
• Google verarbeitet höchstens 500 KiB; was darüber hinausgeht, wird ignoriert.
• Google speichert die Datei in der Regel bis zu 24 Stunden zwischen. Änderungen wirken also nicht sofort.

Auch die Antwort des Servers spielt eine Rolle. Liefert die Adresse einen 404-Fehler, geht Google davon aus, dass es keine Einschränkungen gibt. Antwortet der Server dagegen mit einem Serverfehler (5xx), stoppt Google laut Dokumentation zunächst für bis zu 12 Stunden das Crawlen der gesamten Website und greift danach bis zu 30 Tage auf die letzte gespeicherte Version zurück. Ein dauerhaft fehlerhafter Server kann so das Crawling ausbremsen, ohne dass in der Datei etwas falsch ist.

Aufbau: die Anweisungen im Überblick

Eine robots.txt besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen, die festlegen, für welchen Crawler die folgenden Regeln gelten. Google unterstützt vier Felder:

Zwei Platzhalter sind erlaubt: Der Stern * steht für beliebige Zeichen, das Dollarzeichen $ markiert das Ende einer Adresse. Disallow: /*.pdf$ sperrt also alle Adressen, die auf .pdf enden. Die Feldnamen sind unabhängig von Groß- und Kleinschreibung, die Pfade nicht: /Intern/ und /intern/ sind zwei verschiedene Bereiche.

Welche Regel gewinnt?

Jeder Crawler folgt genau einer Gruppe: der, deren User-agent am genauesten auf ihn passt. Gibt es eine eigene Gruppe für den Googlebot, ignoriert er die Regeln unter User-agent: * vollständig. Das überrascht häufig, wenn jemand eine Googlebot-Gruppe ergänzt und dabei vergisst, die allgemeinen Sperren zu wiederholen.

Innerhalb einer Gruppe gilt laut Google: Die spezifischste Regel – gemessen an der Länge des Pfads – setzt sich durch. Sind zwei widersprüchliche Regeln gleich lang, gewinnt die weniger einschränkende, also allow.

Was in der robots.txt nicht funktioniert

Google hat zum 1. September 2019 die Unterstützung für nie offiziell dokumentierte Anweisungen wie noindex, nofollow und crawl-delay in der robots.txt eingestellt. Wer dort noch Noindex: /seite/ stehen hat, erreicht bei Google damit nichts.

Crawlen ist nicht Indexieren

Der häufigste Denkfehler: „Was in der robots.txt gesperrt ist, erscheint nicht bei Google.“ Google schreibt ausdrücklich, dass die robots.txt kein Mittel ist, um Seiten aus der Suche herauszuhalten. Verlinken andere Seiten auf eine gesperrte Adresse, kann Google sie trotzdem indexieren – dann erscheint sie ohne Beschreibung im Suchergebnis.

Für die drei typischen Ziele gibt es jeweils das passende Werkzeug:

• Seite soll nicht in Google erscheinen: noindex als Meta-Tag oder HTTP-Header, Crawling erlauben.
• Inhalt soll niemand sehen: Passwortschutz oder Seite entfernen.
• Crawler sollen Bereiche nicht abrufen, etwa endlose Filterkombinationen oder interne Suchergebnisse: robots.txt.

Welche Meldungen die Search Console bei gesperrten oder ausgeschlossenen Seiten zeigt und wie Sie diese beheben, erklären wir im Beitrag Seite wird nicht indexiert.

Die robots.txt in WordPress

WordPress erzeugt automatisch eine virtuelle robots.txt, solange keine echte Datei im Hauptverzeichnis liegt. Sie sperrt standardmäßig den Verwaltungsbereich /wp-admin/, gibt die für viele Funktionen nötige Datei admin-ajax.php frei und verweist seit Version 5.5 auf die eingebaute Sitemap. SEO-Plugins bieten meist einen Editor, mit dem sich die Datei anpassen lässt.

Die Einstellung „Suchmaschinen davon abhalten, diese Website zu indexieren“ arbeitet seit WordPress 5.3 nicht mehr mit einer Sperre in der robots.txt, sondern mit einem noindex-Meta-Tag. Das ist sinnvoll, denn so werden die Seiten tatsächlich aus der Suche herausgehalten. Wird der Haken nach dem Livegang vergessen, verschwindet die Website allerdings nach und nach aus Google. Auch eine echte robots.txt mit Disallow: /, die auf einem Testserver lag und beim Umzug mitkopiert wurde, sehen wir nach Relaunches immer wieder. Die Website-Relaunch-Checkliste enthält deshalb einen eigenen Prüfpunkt dafür.

KI-Crawler: kurz eingeordnet

Neben Suchmaschinen-Crawlern besuchen zunehmend Bots von KI-Anbietern Websites. Auch sie lassen sich über die robots.txt ansprechen, sofern sie sich daran halten. Wichtig ist, die verschiedenen Zwecke zu unterscheiden:

• GPTBot sammelt laut OpenAI Inhalte, die für das Training von KI-Modellen genutzt werden können. OAI-SearchBot ist für die Suchfunktion von ChatGPT zuständig. Wer GPTBot sperrt, kann laut OpenAI trotzdem in der ChatGPT-Suche erscheinen.
• Google-Extended ist kein eigener Crawler, sondern ein Kennzeichen, mit dem Sie steuern, ob Ihre Inhalte für Gemini-Modelle genutzt werden. Google betont, dass es weder die Aufnahme in die Google-Suche noch das Ranking beeinflusst.

Ein Betrieb, der seine Texte nicht für das Training freigeben, aber in KI-Suchen sichtbar bleiben möchte, könnte zum Beispiel so formulieren:

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Ob das sinnvoll ist, hängt von Ihren Zielen ab. Wer in KI-Antworten genannt werden will, sollte Such-Bots nicht aussperren. Wie KI-Systeme ihre Quellen auswählen, lesen Sie im Beitrag Welche Quellen nutzt ChatGPT?; die zusätzliche Datei für KI-Systeme erklären wir unter llms.txt.

Die häufigsten Fehler

robots.txt prüfen und ändern

1. Datei aufrufenÖffnen Sie ihre-domain.de/robots.txt in einem privaten Browserfenster. So sehen Sie, was öffentlich ausgeliefert wird.
2. robots.txt-Bericht öffnenIn der Search Console zeigt der robots.txt-Bericht für Domain-Properties, welche Dateien Google gefunden hat, wann sie zuletzt abgerufen wurden und ob es Fehler oder Warnungen gibt.
3. Einzelne Seiten testenMit der URL-Prüfung sehen Sie, ob eine bestimmte Adresse durch die robots.txt blockiert ist.
4. Änderung vorbereitenÄndern Sie nur, was nötig ist, und notieren Sie den Grund als Kommentar mit # in der Datei.
5. Neu crawlen lassenNach wichtigen Änderungen können Sie im robots.txt-Bericht ein erneutes Crawlen beantragen, statt auf den nächsten regulären Abruf zu warten.
6. Wirkung beobachtenPrüfen Sie in den folgenden Wochen den Bericht zur Seitenindexierung, ob gesperrte oder freigegebene Seiten wie erwartet behandelt werden.

Die Sitemap selbst gehört nicht nur in die robots.txt, sondern sollte auch in der Search Console eingereicht werden. Wie das geht, beschreibt unser Beitrag zur XML-Sitemap.

Checkliste: robots.txt

• Die Datei liegt unter /robots.txt im Hauptverzeichnis und antwortet mit Status 200.
• Es gibt kein Disallow: / für alle Crawler.
• CSS-, JavaScript- und Bilddateien, die zur Darstellung nötig sind, sind nicht gesperrt.
• Seiten, die aus Google verschwinden sollen, tragen noindex und sind nicht gesperrt.
• Die Sitemap ist mit vollständiger Adresse eingetragen.
• Pfade sind in korrekter Groß- und Kleinschreibung geschrieben.
• Eigene Crawler-Gruppen enthalten alle benötigten Regeln.
• In WordPress ist „Suchmaschinen davon abhalten …“ auf der Live-Website deaktiviert.
• Der robots.txt-Bericht in der Search Console zeigt keine Fehler.

Häufige Fragen

Quellen

1. Google Search Central: Einführung in robots.txt – Zweck und Grenzen der Datei
2. Google Search Central: So interpretiert Google die robots.txt-Spezifikation – Speicherort, 500 KiB, Caching, Statuscodes, Rangfolge der Regeln
3. Google Search Central: robots.txt-Datei erstellen und einreichen
4. Google Search Central Blog: A note on unsupported rules in robots.txt (2019) – Ende von noindex und crawl-delay zum 1. September 2019
5. Google Search Central: Indexierung mit noindex blockieren
6. Search Console-Hilfe: robots.txt-Bericht
7. Google Search Central: Übersicht über Googles gängige Crawler – Google-Extended
8. OpenAI: Overview of OpenAI Crawlers – GPTBot, OAI-SearchBot, ChatGPT-User
9. RFC 9309: Robots Exclusion Protocol (IETF, 2022)
10. WordPress Core: Changes to prevent search engines indexing sites (5.3)