WordPress generiert automatisch eine virtuelle robots.txt-Datei, falls Sie keine physische anlegen. Die meisten Website-Betreiber wissen nicht, was darin steht. F\u00fcr einen kleinen Blog ist diese Standarddatei meist ausreichend, aber wer WooCommerce, Mitglieder-Plugins oder eine gro\u00dfe Inhaltsbibliothek nutzt, ben\u00f6tigt mehr Kontrolle als die Standardeinstellung bietet.<\/p>\n
WordPress generiert standardm\u00e4\u00dfig eine virtuelle robots.txt-Datei unter yoursite.com\/robots.txt, selbst wenn keine physische Datei im Stammverzeichnis vorhanden ist. Diese Standardversion blockiert \u00fcblicherweise \/wp-admin\/, l\u00e4sst aber admin-ajax.php zu. Sie verschwindet, sobald Sie eine echte robots.txt-Datei hochladen, um sie zu \u00fcberschreiben.<\/p>\n
Sie k\u00f6nnen diese Standardeinstellung \u00fcberpr\u00fcfen, indem Sie die robots.txt-Datei Ihrer Website direkt im Browser aufrufen. Wenn Sie diese Datei noch nie bearbeitet haben, sehen Sie die in WordPress integrierte Version \u2013 nicht die Konfiguration eines Plugins oder Entwicklers.<\/p>\n
Die meisten g\u00e4ngigen WordPress-SEO-Plugins, darunter Yoast SEO und Rank Math, bieten einen integrierten robots.txt-Editor in den Werkzeugeinstellungen. Dies ist die einfachste Methode f\u00fcr technisch weniger versierte Nutzer, da weder Datei-Uploads noch FTP-Zugriff erforderlich sind und \u00c4nderungen direkt im WordPress-Dashboard gespeichert werden.<\/em><\/p>\n Das Plugin schreibt beim ersten Speichern von \u00c4nderungen \u00fcber seinen Editor eine physische robots.txt-Datei auf den Server und ersetzt damit dauerhaft die virtuelle Standarddatei.<\/p>\n Verbinden Sie sich mit Ihrem Server \u00fcber einen FTP-Client, navigieren Sie zum Stammverzeichnis, in dem sich die Datei wp-config.php befindet, und bearbeiten Sie entweder die vorhandene robots.txt-Datei oder erstellen Sie eine neue Textdatei mit genau diesem Namen. Diese Methode funktioniert unabh\u00e4ngig von den installierten Plugins und erm\u00f6glicht die vollst\u00e4ndige Kontrolle \u00fcber den Rohinhalt.<\/p>\n Aus Erfahrung w\u00e4hle ich diesen Weg immer dann, wenn der SEO-Plugin-Editor eines Kunden Probleme bereitet oder wenn ich im Rahmen einer unternehmensweiten Bereinigung eine identische Datei gleichzeitig auf mehreren WordPress-Installationen bereitstellen muss. Durch den direkten Datei-Upload werden alle pluginspezifischen Eigenheiten ausgeschlossen.<\/p>\n \u00dcber den standardm\u00e4\u00dfigen \/wp-admin\/-Block hinaus profitieren WordPress-Websites h\u00e4ufig davon, interne Suchergebnis-URLs, Kommentar-Antwortlinks mit Tracking-Parametern und Feed-Varianten, die nur f\u00fcr Administratoren zug\u00e4nglich sind, zu unterbinden. Keiner dieser Pfade bietet einen Mehrwert f\u00fcr die Suche, und ihre Blockierung hilft Crawlern, mehr Zeit mit den eigentlichen Inhalten zu verbringen.<\/p>\n Vermeiden Sie es, den gesamten Ordner \/wp-content\/ zu sperren, da dieser Pfad die Theme- und Plugin-Asset-Dateien enth\u00e4lt, die Google f\u00fcr die korrekte Darstellung der Seiten ben\u00f6tigt.<\/p>\n WooCommerce-Shops profitieren in der Regel davon, die Pfade zu Warenkorb, Kasse und \u201eMein Konto\u201c in der robots.txt-Datei zu blockieren, da diese Seiten nutzerspezifisch sind und keinen SEO-Nutzen bieten. Mitglieder- und Paywall-Plugins generieren oft \u00e4hnliche kontobezogene URLs, die es wert sind, auf die gleiche Weise ausgeschlossen zu werden.<\/p>\n Laut Google erhalten 91 % der Seiten keinen organischen Traffic von Google. Ahrefs<\/a>oft liegt es daran, dass die Seiten, die um diesen Traffic konkurrieren, wenig Inhalt haben, doppelt vorhanden sind oder einfach nicht die Art von Inhalten darstellen, nach denen irgendjemand sucht, was genau auf Warenkorb- und Kontoseiten zutrifft.<\/p>\n Wenn Sie einen WooCommerce-Shop betreiben und \u00fcberpr\u00fcfen m\u00f6chten, wie Ihre Produktseiten hinsichtlich Autorit\u00e4tssignalen im gro\u00dfen Ma\u00dfstab abschneiden, unser Bulk DA PA Checker<\/a> Verarbeitet bis zu 50 Dom\u00e4nen oder Pfade in einem einzigen Durchlauf.<\/p>\n Nachdem Sie \u00c4nderungen an der robots.txt-Datei in WordPress gespeichert haben, testen Sie die Live-Datei, indem Sie IhreWebsite.com\/robots.txt direkt in einem Browser aufrufen und anschlie\u00dfend einige wichtige Seiten mit dem URL-Pr\u00fcftool der Google Search Console \u00fcberpr\u00fcfen, um sicherzustellen, dass sie nicht unerwartet blockiert werden.<\/p>\n Erfahrungsgem\u00e4\u00df sind die WordPress-Websites, die am st\u00e4rksten betroffen sind, diejenigen, die automatisierte Migrationen oder Staging-to-Live-Synchronisierungstools verwenden, bei denen eine f\u00fcr eine Entwicklungsumgebung bearbeitete robots.txt-Datei stillschweigend in den Produktions-Push \u00fcbernommen wird, ohne dass sie jemand auf der Deployment-Checkliste \u00fcberpr\u00fcft.<\/p>\n Backlinks geh\u00f6ren nach wie vor zu den drei wichtigsten Rankingfaktoren von Google, und ein fehlerhafter robots.txt-Rollout auf einer WordPress-Website kann die monatelange Backlink-Arbeit durch eine einzige unachtsame Speicherung zunichtemachen. Die Domain Authority, der Moz-Score von 1 bis 100, basiert gr\u00f6\u00dftenteils auf denselben Backlink-Signalen.<\/a>Dies ist eine der einfachsten Kennzahlen, um fr\u00fchzeitig Anzeichen eines Geschwindigkeitsproblems zu erkennen. \u00dcberpr\u00fcfen Sie dies immer, bevor Sie fortfahren.<\/p>\n Nein, beide Plugins beinhalten einen integrierten robots.txt-Editor, daher ist ein separates, dediziertes Plugin nicht erforderlich.<\/p>\n Ja, durch das Entfernen der physischen Datei wird die virtuelle Standardversion von WordPress Core automatisch wiederhergestellt.<\/p>\n Im Allgemeinen nein, da der moderne WordPress-Core dies nicht mehr blockiert und einige darin enthaltene Ressourcen f\u00fcr die Darstellung ben\u00f6tigt werden.<\/p>\n Ja, und das sollten Sie auch tun, da Testumgebungen in der Regel besser mit `Disallow: \/` vollst\u00e4ndig blockiert werden sollten, bis der Produktivbetrieb startet, und erst dann auf die Produktionsregeln umgeschaltet wird.<\/p>\n Rufen Sie Ihre Website unter yoursite.com\/robots.txt direkt in einem beliebigen Browser auf. Wenn Ihre benutzerdefinierten Regeln anstelle der Standardregeln von WordPress angezeigt werden, ist die Datei aktiv.<\/p>\n Unser Robots.txt-Dateigenerator<\/a> Erstellt aus einfachen Auswahlen eine WordPress-kompatible Datei \u2013 FTP- oder Plugin-Einstellungen sind nicht erforderlich. F\u00fcr die kontinuierliche \u00dcberwachung der Website-Autorit\u00e4t auf den Websites der Kunden. unser kostenloses DA\/PA-Tool<\/a> Umfasst bis zu 50 Domains gleichzeitig, und unser erfahrener SEO-Berater<\/a> Der Service kann Ihre gesamte technische Ausstattung pr\u00fcfen, falls Sie eine zweite Meinung w\u00fcnschen.\n
Manuelles Bearbeiten der robots.txt-Datei per FTP<\/h2>\n
WordPress-spezifische Pfade, die es wert sind, blockiert zu werden<\/h2>\n
User-agent: *\r\nDisallow: \/wp-admin\/\r\nDisallow: \/?s=\r\nDisallow: \/search\/\r\nAllow: \/wp-admin\/admin-ajax.php\r\nSitemap: https:\/\/example.com\/sitemap_index.xml<\/pre>\n
\u00dcberlegungen zu WooCommerce und dem Membership-Plugin<\/h2>\n
Testen Sie Ihre \u00c4nderungen, ohne die Website zu besch\u00e4digen<\/h2>\n
H\u00e4ufig gestellte Fragen<\/h2>\n
Ben\u00f6tige ich ein robots.txt-Plugin, wenn ich bereits Yoast oder Rank Math verwende?<\/h3>\n
Wird durch das L\u00f6schen meiner benutzerdefinierten robots.txt-Datei die WordPress-Standardeinstellung wiederhergestellt?<\/h3>\n
Soll ich \/wp-includes\/ in der WordPress-robots.txt blockieren?<\/h3>\n
Kann ich f\u00fcr eine WordPress-Testseite unterschiedliche robots.txt-Regeln verwenden?<\/h3>\n
Wie kann ich \u00fcberpr\u00fcfen, ob meine WordPress-robots.txt-Datei tats\u00e4chlich aktiv ist?<\/h3>\n
Erstellen Sie eine sicherere robots.txt-Datei f\u00fcr Ihre WordPress-Website<\/h2>\n
\n