Die robots.txt-Datei sieht so einfach aus, dass die meisten sie nach dem Schreiben nie testen. Genau diese Selbst\u00fcbersch\u00e4tzung ist der Grund f\u00fcr den gro\u00dfen Schaden. Ein einziges falsches Zeichen kann unbemerkt einen ganzen Ordner voller Seiten blockieren, und da keine Fehlermeldung angezeigt wird, merkt es niemand, bis die Suchmaschinenplatzierungen sinken.<\/p>\n
Der gravierendste Fehler in der robots.txt-Datei ist das Belassen von \u201eDisallow: \/\u201c in der Live-Datei. Dadurch werden alle URLs der Domain f\u00fcr alle Crawler gesperrt. Dies geschieht am h\u00e4ufigsten, wenn die robots.txt-Datei einer Testumgebung im Rahmen einer Website-Migration oder eines Relaunches ungepr\u00fcft in die Produktionsumgebung kopiert wird.<\/p>\n
Erfahrungsgem\u00e4\u00df ist dies der h\u00e4ufigste Notfall, zu dem ich gerufen werde. Ein Entwickler schlie\u00dft eine Neugestaltung ab, die Staging-robots.txt mit dem allgemeinen \u201eDisallow\u201c wird zusammen mit allem anderen live geschaltet, und zwei bis drei Wochen sp\u00e4ter bricht der organische Traffic ohne erkennbare Ursache drastisch ein, bis schlie\u00dflich jemand die Datei selbst \u00fcberpr\u00fcft.<\/p>\n
Die Behebung des Problems erfolgt nach dessen Erkennung schnell, die Wiederherstellung jedoch nicht sofort. Google muss die betroffenen URLs neu crawlen und verarbeiten, was je nach Gr\u00f6\u00dfe der Website Tage bis Wochen dauern kann.<\/p>\n
Das Blockieren von Ordnern wie \/wp-content\/themes\/ oder \/assets\/js\/ verhindert, dass Googlebot die f\u00fcr die korrekte Darstellung der Seite ben\u00f6tigten Stile und Skripte l\u00e4dt. Da Google gerenderte Seiten bewertet, kann eine fehlerhafte oder unvollst\u00e4ndige Seite bei der Indexierung hinsichtlich Layout und Inhaltsqualit\u00e4t falsch beurteilt werden.<\/p>\n
Dies stammt \u00fcblicherweise von einer alten Sicherheitscheckliste, die das Blockieren von \u201eSystemordnern\u201c empfahl, ohne zwischen sensiblen Backend-Pfaden und den \u00f6ffentlich zug\u00e4nglichen Asset-Ordnern zu unterscheiden, die ein Theme tats\u00e4chlich ben\u00f6tigt, um korrekt angezeigt zu werden.<\/p>\n
Die robots.txt-Datei ist \u00f6ffentlich und kann von jedem unter ihrer Website.de\/robots.txt eingesehen werden. Das Eintragen sensibler Pfade dort gibt deren Speicherort also preis. Au\u00dferdem verhindert es nicht die Indexierung, wenn eine andere Website auf diesen Pfad verlinkt, da Google auch URLs indexieren kann, die noch nie gecrawlt wurden.<\/p>\n
Wenn ein Pfad wirklich nicht in den Suchergebnissen erscheinen soll, ist der richtige Ansatz der Passwortschutz oder ein Noindex-Tag auf einer zug\u00e4nglichen Seite, nicht eine Disallow-Zeile, die neugierigen Besuchern lediglich sagt, wo sie suchen m\u00fcssen.<\/p>\n
Laut einer Studie haben 55,24 % der Webseiten keine Backlinks. Ahrefs<\/a>Das bedeutet, dass die meisten Seiten gar nicht erst mit dem Problem der Indexierung \u00fcber externe Links konfrontiert werden. Die Seiten, die verlinkt werden, sind in der Regel diejenigen, die Website-Betreiber am meisten sch\u00fctzen m\u00f6chten, weshalb die Verwendung der robots.txt-Datei zum Schutz der Privatsph\u00e4re besonders riskant ist.<\/p>\n Das Weglassen der Sitemap-Anweisung ist nicht katastrophal, da Sitemaps auch direkt \u00fcber die Search Console eingereicht werden k\u00f6nnen. Durch das Hinzuf\u00fcgen der Sitemap-Anweisung wird die Datei jedoch vollst\u00e4ndiger und jeder Crawler erh\u00e4lt einen direkten Pfad zu Ihren wichtigsten URLs, ohne dass eine separate Einreichung erforderlich ist.<\/p>\n Es kostet nur eine Zeile und dauert ein paar Sekunden, daher gibt es kaum einen Grund, es auf einer korrekt konfigurierten Website auszulassen.<\/p>\n Wenn sich mehrere Sperr- und Zulassungsregeln f\u00fcr denselben Pfad \u00fcberschneiden, wendet Googlebot die spezifischste Regel an, nicht die zuerst aufgef\u00fchrte. Lange Listen sich \u00fcberschneidender Regeln, die im Laufe der Zeit von verschiedenen Personen erstellt wurden, widersprechen sich oft auf eine Weise, die erst bemerkt wird, wenn der Traffic auf einem bestimmten Abschnitt einbricht.<\/p>\n Erfahrungsgem\u00e4\u00df ist die sauberste L\u00f6sung f\u00fcr eine un\u00fcbersichtliche Legacy-Datei, mit einem kurzen, bewusst gew\u00e4hlten Regelsatz zu beginnen, anstatt zu versuchen, \u00fcber Jahre angesammelte Zeilen zu patchen, insbesondere bei Websites, die mehr als einmal das CMS oder die Agentur gewechselt haben.<\/p>\n Backlinks geh\u00f6ren nach wie vor zu den drei wichtigsten Rankingfaktoren von Google. Daher sollte man bedenken, dass Crawling-Fehler aufgrund widerspr\u00fcchlicher Regeln genau die Seiten beeintr\u00e4chtigen k\u00f6nnen, die durch die Linkbuilding-Ma\u00dfnahmen eigentlich unterst\u00fctzt werden sollen.<\/p>\n Der schnellste Weg, einen Fehler in der robots.txt-Datei zu finden, ist das Testen repr\u00e4sentativer URLs im URL-Pr\u00fcftool der Google Search Console vor und nach der Ver\u00f6ffentlichung einer neuen Datei. Diese einfache Vorgehensweise verhindert nahezu alle oben beschriebenen Probleme, da das Tool genau anzeigt, wie Google die aktuelle Datei interpretiert.<\/p>\n Ein Spam-Score \u00fcber 30 % wird von Moz als hohes Risiko eingestuft.<\/a> Aus einem ganz anderen Grund, n\u00e4mlich der Linkqualit\u00e4t, gilt aber dieselbe Disziplin auch f\u00fcr die robots.txt: Pr\u00fcfen Sie, bevor Sie etwas annehmen, warten Sie nicht auf einen Datenverlust, um festzustellen, dass etwas schiefgelaufen ist.<\/p>\n \u00d6ffnen Sie die Search Console, verwenden Sie die URL-Pr\u00fcfung auf wichtigen Seiten und pr\u00fcfen Sie, ob das Tool die Seite als durch robots.txt blockiert meldet.<\/p>\n Nicht sofort, aber ein generelles Verbot kann das erneute Crawling stoppen, und Seiten verschwinden mit der Zeit nat\u00fcrlich aus dem Index, da Google sie nicht erneut besucht.<\/p>\n Es kommt darauf an, ob sie einen einzigartigen Mehrwert bieten oder nur geringf\u00fcgigen, doppelten Inhalt erzeugen. F\u00fcr viele Websites ist es sinnvoller, diese Inhalte mit \u201enoindex\u201c zu kennzeichnen, anstatt sie vollst\u00e4ndig zu blockieren.<\/p>\n Google kann eine URL, die es \u00fcber einen externen Link gefunden hat, auch ohne sie zu crawlen, indexieren. Deshalb werden blockierte Seiten manchmal trotzdem ohne Beschreibung angezeigt.<\/p>\n Die Datei selbst aktualisiert sich innerhalb von etwa einem Tag, da Google sie neu zwischenspeichert. Die vollst\u00e4ndige Wiederherstellung der Rankings h\u00e4ngt jedoch davon ab, wie lange der Fehler bestanden hat und wie gro\u00df der betroffene Abschnitt war.<\/p>\n Unser Robots.txt-Dateigenerator<\/a> Erstellt aus Auswahlen anstatt aus Freitext ein \u00fcbersichtliches Regelwerk und eliminiert so das Tippfehlerrisiko vollst\u00e4ndig. Kombinieren Sie es mit unser Bulk DA PA Checker<\/a> Behalten Sie die Autorit\u00e4t im Auge, w\u00e4hrend Sie Crawling-Probleme beheben, und \u00fcberpr\u00fcfen Sie unser SEO-Blog<\/a> f\u00fcr detailliertere technische SEO-Analysen wie diese.Die Sitemap-Zeile vergessen<\/h2>\n
Widerspr\u00fcchliche Regeln \u00fcber mehrere Verbotslinien hinweg<\/h2>\n
Kein Test vor der Ver\u00f6ffentlichung<\/h2>\n
H\u00e4ufig gestellte Fragen<\/h2>\n
Wie kann ich feststellen, ob meine robots.txt-Datei etwas Wichtiges blockiert?<\/h3>\n
Kann ein Fehler in der robots.txt-Datei dazu f\u00fchren, dass meine gesamte Website aus dem Index entfernt wird?<\/h3>\n
Soll ich Schlagwort- und Kategorieseiten in WordPress blockieren?<\/h3>\n
Warum wird meine Seite immer noch bei Google angezeigt, obwohl sie in der robots.txt-Datei blockiert ist?<\/h3>\n
Wie schnell kann ich einen Fehler in der robots.txt-Datei beheben, sobald ich ihn gefunden habe?<\/h3>\n
Pr\u00fcfen Sie Ihre Datei, bevor es Sie Traffic kostet.<\/h2>\n
\n