Crawling

Bei den meisten Websites gar nicht: Google nennt ein Crawling-Budget erst ab etwa 10.000 Seiten mit täglich wechselndem Inhalt oder ab rund einer Million Seiten mit wöchentlichen Änderungen als relevant, bezeichnet diese Schwellen aber selbst als groben Richtwert und nicht als feste Grenze. Darunter lohnt sich keine gezielte Steuerung. Das Budget besteht aus zwei Faktoren: der Kapazitätsgrenze, die der eigene Server über seine Antwortzeiten vorgibt, und der Nachfrage, die von Aktualität und Ansehen der Domain abhängt.

Beim Crawling behandelt Google die Codes 404 und 410 nahezu gleich: Beide gelten als Signal, dass der Inhalt nicht mehr existiert, bereits indexierte Adressen werden entfernt, und die Abrufhäufigkeit sinkt schrittweise. Ein 410 beschleunigt das laut Google nicht. Der Code 429 wird dagegen als Serverüberlastung gewertet: Das Crawling drosselt sich vorübergehend, die Seite bleibt zunächst im Index, und nach der Rückkehr zu einem 2xx-Status steigt die Abrufrate wieder schrittweise an.

Google nennt eine Obergrenze für Googlebot: im Schnitt nicht mehr als ein Abruf pro paar Sekunden auf demselben Server, mit kurzen Ausschlägen nach oben in Spitzenzeiten. Das beschreibt die Zugriffsrate innerhalb eines einzelnen Crawling-Durchlaufs, nicht das Intervall bis zum nächsten Besuch derselben Adresse. Diese zwei Größen werden in der Praxis häufig verwechselt, obwohl sie unterschiedliche Fragen beantworten: die eine betrifft die Serverlast während eines Abrufs, die andere die Aktualität einer einzelnen Seite im Index.

Zuerst die Antwortzeit des Servers prüfen, nicht den Text. Dieser Wert bedeutet nach Googles Hilfe, dass Google die Adresse kennt, den Besuch aber verschoben hat, weil er die Website überlastet hätte — die Ursache liegt damit in der Leistung, nicht in der Qualität des Inhalts. Wer daraufhin den Text überarbeitet, behandelt das falsche Problem. Der verwandte Wert „Gecrawlt – zurzeit nicht indexiert“ hat die umgekehrte Lage: Dort war Google schon da, und Google hält eine späte Indexierung ausdrücklich offen.