Sitemap und robots.txt befinden sich auf derselben technischen Ebene einer Website. Beide sind einfache Textdateien, die Crawler fr\u00fchzeitig \u00fcberpr\u00fcfen. Diese N\u00e4he f\u00fchrt oft zu der Annahme, dass sie im Wesentlichen dieselbe Funktion erf\u00fcllen. Tats\u00e4chlich bewirken sie jedoch fast gegens\u00e4tzliche Dinge: Die Sitemap erm\u00f6glicht das Crawling, die robots.txt schr\u00e4nkt es ein.<\/p>\n
Eine XML-Sitemap ist eine Datei, die die URLs Ihrer Website auflistet, die Suchmaschinen crawlen und f\u00fcr die Indexierung in Betracht ziehen sollen. Sie enth\u00e4lt h\u00e4ufig Metadaten wie das Datum der letzten \u00c4nderung. Es handelt sich dabei um eine Einladung, nicht um eine Garantie, da Google weiterhin selbstst\u00e4ndig entscheidet, ob die einzelnen URLs tats\u00e4chlich gecrawlt und indexiert werden.<\/p>\n
Eine Sitemap ist besonders n\u00fctzlich f\u00fcr gro\u00dfe Websites, neue Websites mit wenigen externen Links oder Websites mit Inhalten, die durch normales Crawling allein schwer zu finden sind.<\/p>\n
Die robots.txt-Datei ist eine einfache Textdatei, die festlegt, welche Pfade Crawler von Ihrem Server anfragen d\u00fcrfen. W\u00e4hrend eine Sitemap angibt, \u201ebitte crawlen Sie diese Seiten\u201c, legt die robots.txt-Datei fest, \u201ebitte nicht crawlen\u201c. Dadurch haben die beiden Dateien eine gegens\u00e4tzliche Funktion, obwohl sie sich auf derselben technischen Ebene der Website befinden.<\/p>\n
Unser Robots.txt-Dateigenerator<\/a> Diese Datei wird aus einfachen Auswahlen erstellt, wodurch der h\u00e4ufige Fehler vermieden wird, versehentlich mehr zu blockieren als beabsichtigt, indem in einer manuell geschriebenen Regel ein einzelnes Zeichen fehlt.<\/p>\n Die robots.txt-Datei enth\u00e4lt \u00fcblicherweise eine Sitemap-Anweisung, die auf den Speicherort der Sitemap verweist. Dies gilt als bew\u00e4hrte Methode, ist aber nicht zwingend erforderlich, da Sitemaps auch direkt \u00fcber die Google Search Console eingereicht werden k\u00f6nnen. Die beiden Dateien funktionieren unabh\u00e4ngig voneinander und ben\u00f6tigen einander nicht f\u00fcr ihre korrekte Funktion.<\/em><\/p>\n Aus Erfahrung f\u00fcge ich die Sitemap-Zeile fast jeder robots.txt-Datei hinzu, die ich schreibe, unabh\u00e4ngig davon, ob der Kunde sie auch \u00fcber die Search Console eingereicht hat, da sie nur eine Zeile kostet und jedem Crawler einen direkten Pfad zur Sitemap ohne jegliche Nachteile bietet.<\/p>\n Wenn eine URL in Ihrer Sitemap erscheint, aber durch die robots.txt-Datei blockiert ist, sendet dies ein widerspr\u00fcchliches Signal und macht den Sitemap-Eintrag nutzlos, da Google eine URL, die es meiden soll, nicht crawlen kann. Diese Diskrepanz z\u00e4hlt zu den h\u00e4ufigsten technischen SEO-Fehlern, die bei Website-Audits festgestellt werden.<\/p>\n Erfahrungsgem\u00e4\u00df tritt genau dieser Widerspruch st\u00e4ndig auf Websites auf, bei denen die Sitemap automatisch von einem Plugin generiert wird, w\u00e4hrend die robots.txt-Datei manuell von einer anderen Person bearbeitet wurde, ohne dass jemand \u00fcberpr\u00fcft, ob die beiden Dateien tats\u00e4chlich \u00fcbereinstimmen.<\/p>\n Fast jede Website profitiert von einer Sitemap, da sie die Auffindbarkeit unabh\u00e4ngig von der Websitegr\u00f6\u00dfe verbessert. Die robots.txt-Datei ist zwar technisch optional, da WordPress und die meisten CMS-Plattformen automatisch eine Standard-Robots.txt-Datei generieren, aber eine benutzerdefinierte Datei ist sinnvoll, wenn Sie das Crawling-Budget verwalten oder bestimmte Pfade blockieren m\u00f6chten.<\/p>\n Eine saubere Kriechkonfiguration unterst\u00fctzt ebenfalls Dom\u00e4nenautorit\u00e4t<\/a> Das Wachstum erfolgt indirekt, da die Domain Authority (DA) gr\u00f6\u00dftenteils auf Backlink-Signalen basiert, die erst dann z\u00e4hlen, wenn Google die Seite, auf die diese Links verweisen, tats\u00e4chlich crawlen und indexieren kann.<\/p>\nM\u00fcssen sie sich gegenseitig erw\u00e4hnen?<\/h2>\n
Was passiert, wenn eine Sitemap eine blockierte URL auflistet?<\/h2>\n
Ben\u00f6tigen Sie beide Dateien?<\/h2>\n