WordPress generiert automatisch eine virtuelle robots.txt-Datei, falls Sie keine physische anlegen. Die meisten Website-Betreiber wissen nicht, was darin steht. Für einen kleinen Blog ist diese Standarddatei meist ausreichend, aber wer WooCommerce, Mitglieder-Plugins oder eine große Inhaltsbibliothek nutzt, benötigt mehr Kontrolle als die Standardeinstellung bietet.
Wo WordPress seine standardmäßige robots.txt versteckt
WordPress generiert standardmäßig eine virtuelle robots.txt-Datei unter yoursite.com/robots.txt, selbst wenn keine physische Datei im Stammverzeichnis vorhanden ist. Diese Standardversion blockiert üblicherweise /wp-admin/, lässt aber admin-ajax.php zu. Sie verschwindet, sobald Sie eine echte robots.txt-Datei hochladen, um sie zu überschreiben.
Sie können diese Standardeinstellung überprüfen, indem Sie die robots.txt-Datei Ihrer Website direkt im Browser aufrufen. Wenn Sie diese Datei noch nie bearbeitet haben, sehen Sie die in WordPress integrierte Version – nicht die Konfiguration eines Plugins oder Entwicklers.
Bearbeiten der robots.txt-Datei über ein SEO-Plugin
Die meisten gängigen WordPress-SEO-Plugins, darunter Yoast SEO und Rank Math, bieten einen integrierten robots.txt-Editor in den Werkzeugeinstellungen. Dies ist die einfachste Methode für technisch weniger versierte Nutzer, da weder Datei-Uploads noch FTP-Zugriff erforderlich sind und Änderungen direkt im WordPress-Dashboard gespeichert werden.
Das Plugin schreibt beim ersten Speichern von Änderungen über seinen Editor eine physische robots.txt-Datei auf den Server und ersetzt damit dauerhaft die virtuelle Standarddatei.
- Yoast SEO: Menü „Tools“, Datei-Editor
- Rangmathematik: Allgemeine Einstellungen, robots.txt bearbeiten
- All-in-One-SEO: Tools, Robots.txt-Editor
Manuelles Bearbeiten der robots.txt-Datei per FTP
Verbinden Sie sich mit Ihrem Server über einen FTP-Client, navigieren Sie zum Stammverzeichnis, in dem sich die Datei wp-config.php befindet, und bearbeiten Sie entweder die vorhandene robots.txt-Datei oder erstellen Sie eine neue Textdatei mit genau diesem Namen. Diese Methode funktioniert unabhängig von den installierten Plugins und ermöglicht die vollständige Kontrolle über den Rohinhalt.
Aus Erfahrung wähle ich diesen Weg immer dann, wenn der SEO-Plugin-Editor eines Kunden Probleme bereitet oder wenn ich im Rahmen einer unternehmensweiten Bereinigung eine identische Datei gleichzeitig auf mehreren WordPress-Installationen bereitstellen muss. Durch den direkten Datei-Upload werden alle pluginspezifischen Eigenheiten ausgeschlossen.
WordPress-spezifische Pfade, die es wert sind, blockiert zu werden
Über den standardmäßigen /wp-admin/-Block hinaus profitieren WordPress-Websites häufig davon, interne Suchergebnis-URLs, Kommentar-Antwortlinks mit Tracking-Parametern und Feed-Varianten, die nur für Administratoren zugänglich sind, zu unterbinden. Keiner dieser Pfade bietet einen Mehrwert für die Suche, und ihre Blockierung hilft Crawlern, mehr Zeit mit den eigentlichen Inhalten zu verbringen.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Disallow: /search/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Vermeiden Sie es, den gesamten Ordner /wp-content/ zu sperren, da dieser Pfad die Theme- und Plugin-Asset-Dateien enthält, die Google für die korrekte Darstellung der Seiten benötigt.
Überlegungen zu WooCommerce und dem Membership-Plugin
WooCommerce-Shops profitieren in der Regel davon, die Pfade zu Warenkorb, Kasse und „Mein Konto“ in der robots.txt-Datei zu blockieren, da diese Seiten nutzerspezifisch sind und keinen SEO-Nutzen bieten. Mitglieder- und Paywall-Plugins generieren oft ähnliche kontobezogene URLs, die es wert sind, auf die gleiche Weise ausgeschlossen zu werden.
Laut Google erhalten 91 % der Seiten keinen organischen Traffic von Google. Ahrefsoft liegt es daran, dass die Seiten, die um diesen Traffic konkurrieren, wenig Inhalt haben, doppelt vorhanden sind oder einfach nicht die Art von Inhalten darstellen, nach denen irgendjemand sucht, was genau auf Warenkorb- und Kontoseiten zutrifft.
Wenn Sie einen WooCommerce-Shop betreiben und überprüfen möchten, wie Ihre Produktseiten hinsichtlich Autoritätssignalen im großen Maßstab abschneiden, unser Bulk DA PA Checker Verarbeitet bis zu 50 Domänen oder Pfade in einem einzigen Durchlauf.
Testen Sie Ihre Änderungen, ohne die Website zu beschädigen
Nachdem Sie Änderungen an der robots.txt-Datei in WordPress gespeichert haben, testen Sie die Live-Datei, indem Sie IhreWebsite.com/robots.txt direkt in einem Browser aufrufen und anschließend einige wichtige Seiten mit dem URL-Prüftool der Google Search Console überprüfen, um sicherzustellen, dass sie nicht unerwartet blockiert werden.
Erfahrungsgemäß sind die WordPress-Websites, die am stärksten betroffen sind, diejenigen, die automatisierte Migrationen oder Staging-to-Live-Synchronisierungstools verwenden, bei denen eine für eine Entwicklungsumgebung bearbeitete robots.txt-Datei stillschweigend in den Produktions-Push übernommen wird, ohne dass sie jemand auf der Deployment-Checkliste überprüft.
Backlinks gehören nach wie vor zu den drei wichtigsten Rankingfaktoren von Google, und ein fehlerhafter robots.txt-Rollout auf einer WordPress-Website kann die monatelange Backlink-Arbeit durch eine einzige unachtsame Speicherung zunichtemachen. Die Domain Authority, der Moz-Score von 1 bis 100, basiert größtenteils auf denselben Backlink-Signalen.Dies ist eine der einfachsten Kennzahlen, um frühzeitig Anzeichen eines Geschwindigkeitsproblems zu erkennen. Überprüfen Sie dies immer, bevor Sie fortfahren.
Häufig gestellte Fragen
Benötige ich ein robots.txt-Plugin, wenn ich bereits Yoast oder Rank Math verwende?
Nein, beide Plugins beinhalten einen integrierten robots.txt-Editor, daher ist ein separates, dediziertes Plugin nicht erforderlich.
Wird durch das Löschen meiner benutzerdefinierten robots.txt-Datei die WordPress-Standardeinstellung wiederhergestellt?
Ja, durch das Entfernen der physischen Datei wird die virtuelle Standardversion von WordPress Core automatisch wiederhergestellt.
Soll ich /wp-includes/ in der WordPress-robots.txt blockieren?
Im Allgemeinen nein, da der moderne WordPress-Core dies nicht mehr blockiert und einige darin enthaltene Ressourcen für die Darstellung benötigt werden.
Kann ich für eine WordPress-Testseite unterschiedliche robots.txt-Regeln verwenden?
Ja, und das sollten Sie auch tun, da Testumgebungen in der Regel besser mit `Disallow: /` vollständig blockiert werden sollten, bis der Produktivbetrieb startet, und erst dann auf die Produktionsregeln umgeschaltet wird.
Wie kann ich überprüfen, ob meine WordPress-robots.txt-Datei tatsächlich aktiv ist?
Rufen Sie Ihre Website unter yoursite.com/robots.txt direkt in einem beliebigen Browser auf. Wenn Ihre benutzerdefinierten Regeln anstelle der Standardregeln von WordPress angezeigt werden, ist die Datei aktiv.
Erstellen Sie eine sicherere robots.txt-Datei für Ihre WordPress-Website
Unser Robots.txt-Dateigenerator Erstellt aus einfachen Auswahlen eine WordPress-kompatible Datei – FTP- oder Plugin-Einstellungen sind nicht erforderlich. Für die kontinuierliche Überwachung der Website-Autorität auf den Websites der Kunden. unser kostenloses DA/PA-Tool Umfasst bis zu 50 Domains gleichzeitig, und unser erfahrener SEO-Berater Der Service kann Ihre gesamte technische Ausstattung prüfen, falls Sie eine zweite Meinung wünschen.
