Die robots.txt-Datei sieht so einfach aus, dass die meisten sie nach dem Schreiben nie testen. Genau diese Selbstüberschätzung ist der Grund für den großen Schaden. Ein einziges falsches Zeichen kann unbemerkt einen ganzen Ordner voller Seiten blockieren, und da keine Fehlermeldung angezeigt wird, merkt es niemand, bis die Suchmaschinenplatzierungen sinken.
Versehentliches Blockieren einer ganzen Website
Der gravierendste Fehler in der robots.txt-Datei ist das Belassen von „Disallow: /“ in der Live-Datei. Dadurch werden alle URLs der Domain für alle Crawler gesperrt. Dies geschieht am häufigsten, wenn die robots.txt-Datei einer Testumgebung im Rahmen einer Website-Migration oder eines Relaunches ungeprüft in die Produktionsumgebung kopiert wird.
Erfahrungsgemäß ist dies der häufigste Notfall, zu dem ich gerufen werde. Ein Entwickler schließt eine Neugestaltung ab, die Staging-robots.txt mit dem allgemeinen „Disallow“ wird zusammen mit allem anderen live geschaltet, und zwei bis drei Wochen später bricht der organische Traffic ohne erkennbare Ursache drastisch ein, bis schließlich jemand die Datei selbst überprüft.
Die Behebung des Problems erfolgt nach dessen Erkennung schnell, die Wiederherstellung jedoch nicht sofort. Google muss die betroffenen URLs neu crawlen und verarbeiten, was je nach Größe der Website Tage bis Wochen dauern kann.
Blockieren von CSS- und JavaScript-Dateien
Das Blockieren von Ordnern wie /wp-content/themes/ oder /assets/js/ verhindert, dass Googlebot die für die korrekte Darstellung der Seite benötigten Stile und Skripte lädt. Da Google gerenderte Seiten bewertet, kann eine fehlerhafte oder unvollständige Seite bei der Indexierung hinsichtlich Layout und Inhaltsqualität falsch beurteilt werden.
Dies stammt üblicherweise von einer alten Sicherheitscheckliste, die das Blockieren von „Systemordnern“ empfahl, ohne zwischen sensiblen Backend-Pfaden und den öffentlich zugänglichen Asset-Ordnern zu unterscheiden, die ein Theme tatsächlich benötigt, um korrekt angezeigt zu werden.
- Prüfen Sie, ob die Verzeichnisse /wp-content/themes/ und /wp-content/plugins/ nicht umfassend blockiert sind.
- Gängige Dateierweiterungen wie .css und .js sollten explizit zugelassen werden, wenn ein übergeordneter Ordner blockiert ist.
- Verwenden Sie die URL-Prüfung in der Search Console, um zu bestätigen, dass der gerenderte Screenshot korrekt aussieht.
Verwendung von robots.txt zum Ausblenden sensibler Seiten
Die robots.txt-Datei ist öffentlich und kann von jedem unter ihrer Website.de/robots.txt eingesehen werden. Das Eintragen sensibler Pfade dort gibt deren Speicherort also preis. Außerdem verhindert es nicht die Indexierung, wenn eine andere Website auf diesen Pfad verlinkt, da Google auch URLs indexieren kann, die noch nie gecrawlt wurden.
Wenn ein Pfad wirklich nicht in den Suchergebnissen erscheinen soll, ist der richtige Ansatz der Passwortschutz oder ein Noindex-Tag auf einer zugänglichen Seite, nicht eine Disallow-Zeile, die neugierigen Besuchern lediglich sagt, wo sie suchen müssen.
Laut einer Studie haben 55,24 % der Webseiten keine Backlinks. AhrefsDas bedeutet, dass die meisten Seiten gar nicht erst mit dem Problem der Indexierung über externe Links konfrontiert werden. Die Seiten, die verlinkt werden, sind in der Regel diejenigen, die Website-Betreiber am meisten schützen möchten, weshalb die Verwendung der robots.txt-Datei zum Schutz der Privatsphäre besonders riskant ist.
Die Sitemap-Zeile vergessen
Das Weglassen der Sitemap-Anweisung ist nicht katastrophal, da Sitemaps auch direkt über die Search Console eingereicht werden können. Durch das Hinzufügen der Sitemap-Anweisung wird die Datei jedoch vollständiger und jeder Crawler erhält einen direkten Pfad zu Ihren wichtigsten URLs, ohne dass eine separate Einreichung erforderlich ist.
Es kostet nur eine Zeile und dauert ein paar Sekunden, daher gibt es kaum einen Grund, es auf einer korrekt konfigurierten Website auszulassen.
Widersprüchliche Regeln über mehrere Verbotslinien hinweg
Wenn sich mehrere Sperr- und Zulassungsregeln für denselben Pfad überschneiden, wendet Googlebot die spezifischste Regel an, nicht die zuerst aufgeführte. Lange Listen sich überschneidender Regeln, die im Laufe der Zeit von verschiedenen Personen erstellt wurden, widersprechen sich oft auf eine Weise, die erst bemerkt wird, wenn der Traffic auf einem bestimmten Abschnitt einbricht.
Erfahrungsgemäß ist die sauberste Lösung für eine unübersichtliche Legacy-Datei, mit einem kurzen, bewusst gewählten Regelsatz zu beginnen, anstatt zu versuchen, über Jahre angesammelte Zeilen zu patchen, insbesondere bei Websites, die mehr als einmal das CMS oder die Agentur gewechselt haben.
Backlinks gehören nach wie vor zu den drei wichtigsten Rankingfaktoren von Google. Daher sollte man bedenken, dass Crawling-Fehler aufgrund widersprüchlicher Regeln genau die Seiten beeinträchtigen können, die durch die Linkbuilding-Maßnahmen eigentlich unterstützt werden sollen.
Kein Test vor der Veröffentlichung
Der schnellste Weg, einen Fehler in der robots.txt-Datei zu finden, ist das Testen repräsentativer URLs im URL-Prüftool der Google Search Console vor und nach der Veröffentlichung einer neuen Datei. Diese einfache Vorgehensweise verhindert nahezu alle oben beschriebenen Probleme, da das Tool genau anzeigt, wie Google die aktuelle Datei interpretiert.
Ein Spam-Score über 30 % wird von Moz als hohes Risiko eingestuft. Aus einem ganz anderen Grund, nämlich der Linkqualität, gilt aber dieselbe Disziplin auch für die robots.txt: Prüfen Sie, bevor Sie etwas annehmen, warten Sie nicht auf einen Datenverlust, um festzustellen, dass etwas schiefgelaufen ist.
Häufig gestellte Fragen
Wie kann ich feststellen, ob meine robots.txt-Datei etwas Wichtiges blockiert?
Öffnen Sie die Search Console, verwenden Sie die URL-Prüfung auf wichtigen Seiten und prüfen Sie, ob das Tool die Seite als durch robots.txt blockiert meldet.
Kann ein Fehler in der robots.txt-Datei dazu führen, dass meine gesamte Website aus dem Index entfernt wird?
Nicht sofort, aber ein generelles Verbot kann das erneute Crawling stoppen, und Seiten verschwinden mit der Zeit natürlich aus dem Index, da Google sie nicht erneut besucht.
Soll ich Schlagwort- und Kategorieseiten in WordPress blockieren?
Es kommt darauf an, ob sie einen einzigartigen Mehrwert bieten oder nur geringfügigen, doppelten Inhalt erzeugen. Für viele Websites ist es sinnvoller, diese Inhalte mit „noindex“ zu kennzeichnen, anstatt sie vollständig zu blockieren.
Warum wird meine Seite immer noch bei Google angezeigt, obwohl sie in der robots.txt-Datei blockiert ist?
Google kann eine URL, die es über einen externen Link gefunden hat, auch ohne sie zu crawlen, indexieren. Deshalb werden blockierte Seiten manchmal trotzdem ohne Beschreibung angezeigt.
Wie schnell kann ich einen Fehler in der robots.txt-Datei beheben, sobald ich ihn gefunden habe?
Die Datei selbst aktualisiert sich innerhalb von etwa einem Tag, da Google sie neu zwischenspeichert. Die vollständige Wiederherstellung der Rankings hängt jedoch davon ab, wie lange der Fehler bestanden hat und wie groß der betroffene Abschnitt war.
Prüfen Sie Ihre Datei, bevor es Sie Traffic kostet.
Unser Robots.txt-Dateigenerator Erstellt aus Auswahlen anstatt aus Freitext ein übersichtliches Regelwerk und eliminiert so das Tippfehlerrisiko vollständig. Kombinieren Sie es mit unser Bulk DA PA Checker Behalten Sie die Autorität im Auge, während Sie Crawling-Probleme beheben, und überprüfen Sie unser SEO-Blog für detailliertere technische SEO-Analysen wie diese.
