robots.txt
Die robots.txt ist eine kleine Textdatei im Wurzelverzeichnis einer Website, die Suchmaschinen mitteilt, welche Bereiche sie nicht abrufen sollen. Sie ist eine Bitte, keine Sperre.
Das folgenreichste Missverständnis
Dass eine gesperrte Seite nicht in der Suche erscheint. Das Gegenteil kann eintreten: Google darf sie nicht LESEN, kann sie aber trotzdem listen — dann steht sie ohne Beschreibung im Index.
Wer eine Seite wirklich heraushalten will, braucht die Anweisung „noindex" auf der Seite selbst. Und dafür muss Google sie lesen dürfen — die Sperre in der robots.txt verhindert genau das.
Wozu sie tatsächlich gut ist
Um Aufrufe zu sparen, wo sie nichts bringen: interne Suchergebnisse, endlose Filterkombinationen, Druckansichten. Das entlastet den Server und lenkt die Abrufe auf die Seiten, die zählen.
Und um den Verweis auf die Sitemap unterzubringen, damit Suchmaschinen den vollständigen Seitenbestand ohne Umweg finden.
In KI-Antworten vorkommen: was belegbar hilft
Immer mehr Menschen fragen ChatGPT oder Google-KI statt eine Ergebnisliste durchzusehen. Was Sie dafür tun können, ist zum Teil gesichert und zum Teil Spekulation. Dieser Beitrag trennt beides — beginnend mit dem technischen Punkt, an dem die meisten Websites scheitern.
Website-Relaunch: Woran Sie erkennen, dass es Zeit ist
Ein Relaunch ist teuer und riskant — und trotzdem manchmal die günstigere Entscheidung. Sechs belastbare Anzeichen, die für einen Neubau sprechen, und drei Gründe, die keine sind.
Passende Leistungen
SEO & Content-Strategie
Technische SEO-Audits, Core Web Vitals und eine Content-Strategie für bessere Rankings und Sichtbarkeit in der KI-Suche.
Mehr dazuTechnische Beratung & Architektur
Architektur-Reviews, Technologieauswahl und technische Roadmaps — unabhängige Beratung für Ihre digitale Strategie.
Mehr dazuHosting & Deployment
Ihre Web-App zuverlässig ausrollen und betreiben: automatische Deployments über GitHub Actions, gehostet auf Hetzner in der EU.
Mehr dazu