robots.txt

Google speichert die robots.txt laut eigener Spezifikation bis zu 24 Stunden zwischen und länger, wenn ein neuer Abruf nicht möglich ist. Eine Korrektur wirkt deshalb nicht sofort: Bis zu einen Tag lang rechnet Google weiter mit der alten Fassung. Beschleunigen lässt sich das über den Kopfzeilenwert Cache-Control mit einer kurzen Gültigkeitsdauer. Wer eine versehentliche Sperre aufhebt und zehn Minuten später den Abruf prüft, prüft zu früh – maßgeblich ist der Stand am Folgetag.

Google stellt das Crawling der gesamten Website in den ersten zwölf Stunden ein und versucht weiter, die Datei zu lesen. Danach gilt bis zu 30 Tage die letzte erfolgreich gelesene Fassung; erst nach diesen 30 Tagen verhält sich Google so, als gäbe es keine robots.txt. Ein Statuscode 404 wirkt genau umgekehrt: Eine fehlende Datei gilt als keine Einschränkung. Die gefährlichere Fehlkonfiguration ist damit der Serverfehler, nicht die fehlende Datei.

Der längere Pfad gewinnt. Google wertet bei konkurrierenden Zeilen die spezifischere Regel aus, gemessen an der Länge des angegebenen Pfades; bei gleicher Länge setzt sich die weniger einschränkende durch, also Allow vor Disallow. Davor greift eine zweite Vorrangregel: Für einen Crawler ist genau eine User-agent-Gruppe gültig, nämlich die mit der genauesten Übereinstimmung. Eine Zeile unter dem Sternchen wirkt für Googlebot nicht mehr, sobald eine eigene Googlebot-Gruppe existiert – auch nicht ergänzend.

Je Host eine. Die Regeln einer robots.txt gelten nach Googles Spezifikation nur für den Host, das Protokoll und die Portnummer, unter denen die Datei selbst liegt. Eine Datei unter der Hauptdomain deckt eine Shop-Subdomain also nicht ab, ebenso wenig dieselbe Adresse unter einem anderen Port. Wer Subdomains für Shop-, Test- oder Hilfesysteme betreibt, legt dort je eine eigene Datei an – fehlt sie, gilt für diese Subdomain keine einzige Einschränkung.

Nein. OpenAI dokumentiert getrennte Kennungen: GPTBot holt Trainingsdaten, OAI-SearchBot beliefert die Suche in ChatGPT. Eine Sperre für GPTBot lässt die Suchkennung unberührt; wer beides ausschließen will, braucht zwei Gruppen. Dazu kommt eine Grenze der Datei: Für Abrufe, die ein Nutzer selbst auslöst, gilt sie nicht verlässlich. OpenAI schreibt zu seiner Nutzerkennung, robots.txt-Regeln könnten nicht greifen; Perplexity schreibt zu seiner, der Abrufer übergehe robots.txt in der Regel.