Eine robots.txt-Datei ist eine einfache Textdatei mit Regeln, die sich im Stammverzeichnis Ihrer Domain befindet und Crawlern wie dem Googlebot mitteilt, welche Pfade sie durchsuchen dürfen. Sie entfernt Seiten nicht automatisch aus dem Google-Index, sondern steuert lediglich das Crawling. Bei einem Syntaxfehler können Sie unbemerkt CSS, JS oder ganze Bereiche einer Website blockieren, ohne dass dies zu einem Rankingverlust führt.
Was Robots.txt tatsächlich steuert
Die robots.txt-Datei steuert das Crawling, nicht das Indexieren. Sie teilt Suchmaschinen-Bots mit, welche URLs sie von Ihrem Server anfordern dürfen. Eine Seite kann trotzdem im Google-Index erscheinen, selbst wenn sie in der robots.txt-Datei blockiert ist. In der Regel wird sie dann ohne Beschreibung angezeigt, da Google sie über einen Link und nicht durch direktes Crawling gefunden hat.
Die meisten Website-Betreiber gehen fälschlicherweise davon aus, dass die robots.txt-Datei dem Datenschutz dient. Sie ist vielmehr ein Tool zur Traffic-Verwaltung für Crawler und befindet sich unter ihrer Website.de/robots.txt. Sie wird fast vor allen anderen Inhalten der Seite gelesen.
Suchmaschinen betrachten die robots.txt-Datei eher als hilfreiche Empfehlung denn als strikte Richtlinie. Seriöse Bots wie Googlebot und Bingbot halten sich genau daran. Web-Scraper, die sie komplett ignorieren, sind weit verbreitet, daher stellt die robots.txt-Datei keine Sicherheitsmaßnahme dar.
- Es verwaltet das Crawling-Budget auf großen Websites.
- Es hält Bots von Administrationsbereichen, Suchergebnisseiten und URLs mit doppelten Parametern fern.
- Es leitet Crawler zu Ihrem Sitemap-Standort.
Laut einer Studie haben 55,24 % der Webseiten keine Backlinks. Ahrefs-RechercheUnd ein Großteil dieser Seiten besteht genau aus den kurzen, parameterreichen URLs, von denen robots.txt Crawler eigentlich fernhalten soll.
Wie Googlebot eine robots.txt-Datei liest
Googlebot lädt die robots.txt-Datei vor dem Crawlen einer Domain und speichert sie für etwa 24 Stunden im Cache. Er liest die Regeln von oben nach unten und wendet die spezifischste passende Regel an, nicht die erste gefundene. Eine spezifischere Zulassungsregel kann eine allgemeinere Sperrregel für denselben Bot außer Kraft setzen.
Jeder Regelblock beginnt mit einer User-Agent-Zeile. Googlebot sucht gezielt nach einem Block, der an „Googlebot“ adressiert ist, bevor er auf den generischen Wildcard-Block zurückgreift, der an „*“ adressiert ist.
Aus Erfahrung weiß ich, dass Agenturen bei der Migration von der Staging- zur Produktionsumgebung eine neue robots.txt-Datei einspielen und dabei vergessen, dass die Staging-Version die Zeile „Disallow: /“ ganz oben enthielt. Innerhalb weniger Tage brachen die organischen Sitzungen auf den Hauptkategorieseiten des Kunden drastisch ein, und die einzige Lösung bestand darin, eine korrigierte Datei einzuspielen und über die Search Console einen erneuten Crawl anzufordern.
Unser Robots.txt-Dateigenerator Diesen Fehler vermeidet die Website, indem sie die Datei aus auswählbaren Regeln anstatt aus freiem Text erstellt, sodass ein versehentlicher Schrägstrich nicht den Crawling-Zugriff einer ganzen Website zunichtemachen kann.
Robots.txt-Syntax: Disallow, Allow und Sitemap
Die drei wichtigsten Direktiven sind „User-agent“ zur gezielten Ansprache eines bestimmten Bots, „Disallow“ zum Blockieren eines Pfads und „Allow“ zum Zulassen eines Pfads innerhalb eines blockierten Ordners. Eine Sitemap-Zeile, die auf Ihre XML-Sitemap verweist, ist optional, aber empfehlenswert, da sie Crawlern einen direkten Weg zu Ihren wichtigsten URLs bietet.
Eine minimale Arbeitsdatei sieht folgendermaßen aus:
| Richtlinie | Zweck | Beispiel |
|---|---|---|
| Benutzeragent | Zielt auf einen Bot oder alle Bots ab | User-Agent: * |
| Nicht zulassen | Versperrt den Weg für Kriecher | Verboten: /wp-admin/ |
| Erlauben | Erlaubt einen Pfad innerhalb eines gesperrten Ordners | Zulassen: /wp-admin/admin-ajax.php |
| Sitemap | Verweist auf Ihre Sitemap-Datei | Sitemap: https://example.com/sitemap.xml |
Pfade unterscheiden Groß- und Kleinschreibung und werden ab dem Anfang des URL-Pfads abgeglichen. Ein abschließender Schrägstrich ist wichtig, da sich Disallow: /blog und Disallow: /blog/ hinsichtlich der Breite des Suchbereichs unterschiedlich verhalten.
Robots.txt vs. Noindex: Sie sind nicht dasselbe.
Die robots.txt-Datei verhindert, dass ein Crawler eine Seite aufruft, während ein noindex-Meta-Tag dem Crawler zwar den Zugriff auf die Seite erlaubt, ihn aber anweist, die Seite nicht in den Suchergebnissen zu speichern. Eine Seite mit robots.txt zu blockieren und gleichzeitig noindex hinzuzufügen, ist widersprüchlich, da Google den noindex-Tag auf einer Seite, die es nicht crawlen darf, nicht lesen kann.
Dies ist einer der häufigsten Fehler im Bereich der technischen Suchmaschinenoptimierung. Website-Betreiber möchten eine Seite aus den Suchergebnissen entfernen lassen, blockieren sie daher in der robots.txt-Datei und wundern sich dann, warum sie Wochen später immer noch ohne Snippet angezeigt wird.
Wenn das eigentliche Ziel die Entfernung aus den Suchergebnissen ist, ist die richtige Reihenfolge: Crawling zulassen, ein noindex-Tag hinzufügen, warten, bis Google das Tag verarbeitet hat, und dann optional den Pfad blockieren, sobald er aus den Suchergebnissen entfernt wurde.
Unser komplettes Angebot an SEO-Tools beinhaltet Prüfungen, die Seiten mit widersprüchlichen robots.txt- und noindex-Signalen kennzeichnen, bevor es zu genau dieser Verwirrung kommt.
Wann Sie eine Seite blockieren sollten und wann nicht
Blockieren Sie Pfade, die keinen SEO-Wert haben und Crawling-Ressourcen verschwenden, wie z. B. interne Suchergebnisseiten, Warenkorb- und Checkout-URLs, URLs mit gefilterten Parametern und Admin-Login-Seiten. Vermeiden Sie es, CSS-, JS- oder Bildverzeichnisse zu blockieren, die Google zum Rendern der Seite benötigt, da Rendering-Probleme sich direkt auf das Verständnis und das Ranking der Inhalte auswirken.
Ein häufiger Fehler bei WordPress-Websites ist das vollständige Blockieren des Verzeichnisses `/wp-content/`. Dadurch können Theme-CSS- und JS-Dateien verloren gehen, die Google für die korrekte Darstellung der Seite benötigt. Google hat klargestellt, dass es Seiten ähnlich wie ein Browser rendert und dass eine Seite, die nicht korrekt dargestellt wird, hinsichtlich der Inhaltsqualität falsch bewertet werden kann.
Backlinks gehören nach wie vor zu den drei wichtigsten Rankingfaktoren von Google, doch all diese Linkstärke ist bedeutungslos, wenn Crawling-Probleme verhindern, dass Ihre besten Seiten überhaupt erst korrekt verarbeitet werden. Domain Authority, eine von Moz entwickelte Punktzahl von 1 bis 100 zur Vorhersage der RankingfähigkeitDa alles auf denselben Backlinks und Crawling-Signalen basiert, kann eine fehlerhafte robots.txt-Datei das Wachstum der Autorität im Laufe der Zeit unbemerkt hemmen. Wenn Sie das gesamte Linkprofil einer Website überprüfen, während Sie die Crawling-Anweisungen bereinigen, unser Massen-Defektlink-Prüfer Sie können den Zustand Ihrer Backlinks und ausgehenden Links im selben Durchgang scannen.
So testen Sie Ihre robots.txt-Datei
Testen Sie Änderungen mit dem URL-Prüftool der Google Search Console. Dieses zeigt Ihnen genau, wie der Googlebot Ihre aktuelle robots.txt-Datei für jede beliebige URL interpretiert. Testen Sie Änderungen immer vor und nach der Veröffentlichung, da ein einzelnes falsch platziertes Zeichen viel mehr blockieren kann als beabsichtigt.
Aus Erfahrung weiß ich, dass das sicherste Rollout-Muster, das ich bei Agenturkunden anwende, darin besteht, die neue Datei in einer Zwischenspeicherung bereitzustellen, fünf bis zehn repräsentative URLs auf der Website mittels URL-Inspektion zu testen, zu bestätigen, dass die Sitemap-Zeile korrekt aufgelöst wird, und erst dann während eines verkehrsarmen Zeitfensters live zu schalten, damit unerwartete Ausfälle leicht erkannt und schnell behoben werden können.
Laut Google erhalten 91 % der Webseiten keinen organischen Traffic von Google, hauptsächlich aufgrund fehlender Backlinks. Ahrefs-DatenEine fehlerhafte robots.txt-Datei kann ansonsten solide Seiten in dieselbe Kategorie einordnen, indem sie Google einfach daran hindert, sie überhaupt zu crawlen.
Robots.txt-Vorlage zum Kopieren
Eine sichere Startvorlage lässt standardmäßig alle Bots zu, blockiert nur den Admin- und internen Suchpfad und listet die Sitemap auf. Dadurch bleibt die Datei kurz, lesbar und birgt ein geringes Risiko für Websites ohne ungewöhnliche Crawling-Budgetprobleme.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Ersetzen Sie die Pfade durch Ihre eigenen Admin-Pfade und die Sitemap-URL und überprüfen Sie dies anschließend mit der Search Console, bevor Sie die Aufgabe als erledigt betrachten.
Häufig gestellte Fragen
Entfernt die robots.txt-Datei Seiten aus den Google-Suchergebnissen?
Nein. Es blockiert lediglich das Crawling. Eine blockierte Seite kann weiterhin indexiert werden, wenn Google sie über externe Links findet, die in der Regel ohne Beschreibung angezeigt werden.
Wo muss die robots.txt-Datei gespeichert werden?
Im Stammverzeichnis der Domain, z. B. example.com/robots.txt. In einem Unterordner funktioniert es nicht.
Kann robots.txt nur bestimmte Bots blockieren?
Ja. Verwenden Sie einen dedizierten User-Agent-Block, der den jeweiligen Bot benennt, z. B. Googlebot oder Bingbot, mit eigenen Disallow-Regeln, die vom Wildcard-Block getrennt sind.
Ist robots.txt dasselbe wie eine Firewall-Regel?
Nein. Es handelt sich um eine freiwillige Anweisung, die von korrekt arbeitenden Crawlern befolgt wird. Sie bietet keine wirkliche Sicherheit und sollte niemals dazu verwendet werden, sensible Inhalte zu verbergen.
Wie oft überprüft Google die robots.txt-Datei erneut?
Google speichert die Datei in der Regel für etwa 24 Stunden im Cache, Änderungen werden also nicht sofort wirksam, sondern typischerweise innerhalb eines Tages.
Erstellen Sie Ihre Robots.txt-Datei gleich beim ersten Mal richtig
Wenn Sie das Rätselraten vermeiden wollen, unser Robots.txt-Dateigenerator Erstellt aus einfachen Auswahlen eine saubere, getestete Datei, und unser kostenloses DA/PA-Tool Hilft Ihnen dabei, die Autorität im Auge zu behalten, während Sie Probleme mit dem Crawling beheben. Für eine detailliertere technische Analyse, unser erfahrener SEO-Berater Service Reviews durchsuchen Anweisungen zusammen mit dem Rest Ihrer technischen Konfiguration.
