Sitemap och robots.txt finns p\u00e5 samma tekniska lager av en webbplats, b\u00e5da \u00e4r vanliga textfiler som s\u00f6krobotar kontrollerar tidigt, och den n\u00e4rheten f\u00e5r m\u00e5nga att anta att de g\u00f6r ungef\u00e4r samma jobb. De g\u00f6r faktiskt n\u00e4stan motsatta saker, den ena inbjuder till genoms\u00f6kning, den andra begr\u00e4nsar den.<\/p>\n
En XML-webbplatskarta \u00e4r en fil som listar de webbadresser p\u00e5 din webbplats som du vill att s\u00f6kmotorer ska genoms\u00f6ka och \u00f6verv\u00e4ga f\u00f6r indexering, ofta inklusive metadata som senast \u00e4ndrad datum. Det \u00e4r en inbjudan, inte en garanti, eftersom Google fortfarande sj\u00e4lvst\u00e4ndigt best\u00e4mmer om de faktiskt ska genoms\u00f6ka och indexera varje listad webbadress.<\/p>\n
En webbplatskarta \u00e4r mest anv\u00e4ndbar f\u00f6r stora webbplatser, nya webbplatser med f\u00e5 externa l\u00e4nkar eller webbplatser med inneh\u00e5ll som \u00e4r sv\u00e5rt att uppt\u00e4cka enbart genom vanlig genoms\u00f6kning.<\/p>\n
Robots.txt \u00e4r en vanlig textfil som begr\u00e4nsar vilka s\u00f6kv\u00e4gar som s\u00f6krobotar f\u00e5r beg\u00e4ra fr\u00e5n din server. Medan en webbplatskarta s\u00e4ger \"v\u00e4nligen genoms\u00f6k dessa\", s\u00e4ger robots.txt \"genoms\u00f6k inte dessa\", vilket g\u00f6r att de tv\u00e5 filerna har motsatta funktioner trots att de finns p\u00e5 ett liknande tekniskt lager av webbplatsen.<\/p>\n
V\u00e5r Robots.txt-filgenerator<\/a> bygger den h\u00e4r filen fr\u00e5n enkla markeringar, vilket undviker det vanliga misstaget att av misstag blockera mer \u00e4n avsett med ett l\u00f6st tecken i en manuellt skriven regel.<\/p>\n Robots.txt inneh\u00e5ller vanligtvis ett webbplatskartdirektiv som pekar till webbplatskartans plats, vilket anses vara god praxis men inte absolut n\u00f6dv\u00e4ndigt, eftersom webbplatskartor ocks\u00e5 kan skickas direkt via Google Search Console. De tv\u00e5 filerna fungerar oberoende av varandra och kr\u00e4ver inte varandra f\u00f6r att fungera korrekt.<\/em><\/p>\n Av erfarenhet l\u00e4gger jag till webbplatskartan i n\u00e4stan varje robots.txt-fil jag skriver, oavsett om klienten ocks\u00e5 har skickat in den via Search Console, eftersom det kostar en rad och ger alla s\u00f6krobotar en direkt s\u00f6kv\u00e4g till webbplatskartan utan n\u00e5gra nackdelar.<\/p>\n Om en URL visas i din webbplatskarta men blockeras av robots.txt, skickar detta en mots\u00e4gelsefull signal som sl\u00f6sar bort webbplatskartan, eftersom Google inte kan genoms\u00f6ka en URL som den har instruerats att undvika. Denna felmatchning \u00e4r ett av de vanligaste tekniska SEO-felen som uppt\u00e4cks under webbplatsgranskningar.<\/p>\n Av erfarenhet visar sig just denna mots\u00e4gelse st\u00e4ndigt p\u00e5 webbplatser d\u00e4r webbplatskartan genereras automatiskt av ett plugin medan robots.txt redigerades manuellt av en annan person, utan att n\u00e5gon dubbelkollar att de tv\u00e5 filerna faktiskt \u00f6verensst\u00e4mmer med varandra.<\/p>\n N\u00e4stan alla webbplatser drar nytta av att ha en webbplatskarta, eftersom den underl\u00e4ttar uppt\u00e4ckt oavsett webbplatsens storlek. Robots.txt \u00e4r tekniskt sett valfritt, eftersom WordPress och de flesta CMS-plattformar genererar en grundl\u00e4ggande standardfil automatiskt, men en anpassad fil \u00e4r v\u00e4rd att ha i det \u00f6gonblick du beh\u00f6ver hantera crawlbudgeten eller blockera specifika s\u00f6kv\u00e4gar.<\/p>\n En ren genoms\u00f6kningsinstallation st\u00f6der ocks\u00e5 Dom\u00e4nauktoritet<\/a> tillv\u00e4xt indirekt, eftersom DA till stor del bygger p\u00e5 bak\u00e5tl\u00e4nkssignaler som bara r\u00e4knas n\u00e4r Google faktiskt kan genoms\u00f6ka och indexera sidan som dessa l\u00e4nkar pekar till.<\/p>\nBeh\u00f6ver de referera till varandra?<\/h2>\n
Vad h\u00e4nder om en webbplatskarta listar en blockerad URL<\/h2>\n
Beh\u00f6ver du b\u00e5da filerna?<\/h2>\n