Robots.txt ser s\u00e5 enkelt ut att de flesta aldrig testar det efter att ha skrivit det. Den \u00f6verdrivna sj\u00e4lvs\u00e4kerheten \u00e4r just d\u00e4rf\u00f6r den orsakar s\u00e5 mycket skada. Ett enda felaktigt tecken kan i tysthet blockera en mapp full av sidor, och eftersom det inte finns n\u00e5got felmeddelande m\u00e4rker ingen det f\u00f6rr\u00e4n rankningen b\u00f6rjar sjunka.<\/p>\n
Det mest skadliga robots.txt-misstaget \u00e4r att l\u00e4mna Disallow: \/ kvar i live-filen, vilket blockerar alla URL:er p\u00e5 dom\u00e4nen fr\u00e5n alla crawlers. Detta h\u00e4nder oftast n\u00e4r en staging-milj\u00f6s robots.txt kopieras till produktion utan granskning under en webbplatsmigrering eller omstart.<\/p>\n
Av egen erfarenhet \u00e4r detta den absolut vanligaste n\u00f6dsituationen jag drabbas av. En utvecklare slutf\u00f6r en redesign, robots.txt-filen med en generell \"Disallow\" publiceras tillsammans med allt annat, och tv\u00e5 till tre veckor senare har den organiska trafiken rasat utf\u00f6r utan n\u00e5gon uppenbar orsak tills n\u00e5gon \u00e4ntligen kontrollerar sj\u00e4lva filen.<\/p>\n
\u00c5tg\u00e4rden \u00e4r snabb n\u00e4r den v\u00e4l uppt\u00e4cks, men \u00e5terst\u00e4llningen sker inte omedelbar. Google m\u00e5ste genoms\u00f6ka och bearbeta de ber\u00f6rda webbadresserna p\u00e5 nytt, vilket kan ta dagar till veckor beroende p\u00e5 webbplatsens storlek.<\/p>\n
Att blockera mappar som \/wp-content\/themes\/ eller \/assets\/js\/ hindrar Googlebot fr\u00e5n att ladda den stil och de skript som beh\u00f6vs f\u00f6r att rendera sidan korrekt. Google utv\u00e4rderar renderade sidor, s\u00e5 en sida som laddas trasig eller ofullst\u00e4ndig kan felbed\u00f6mas utifr\u00e5n layout och inneh\u00e5llskvalitet under indexering.<\/p>\n
Detta kommer vanligtvis fr\u00e5n en gammal s\u00e4kerhetschecklista som rekommenderade att blockera \"system\"-mappar utan att skilja mellan k\u00e4nsliga backend-s\u00f6kv\u00e4gar och de publika tillg\u00e5ngsmappar som ett tema faktiskt beh\u00f6ver f\u00f6r att visas korrekt.<\/p>\n
Robots.txt \u00e4r en offentlig fil som vem som helst kan se genom att bes\u00f6ka yoursite.com\/robots.txt, s\u00e5 att lista k\u00e4nsliga s\u00f6kv\u00e4gar d\u00e4r annonserar faktiskt deras plats. Det g\u00f6r inte heller n\u00e5got f\u00f6r att f\u00f6rhindra indexering om en annan webbplats l\u00e4nkar till den s\u00f6kv\u00e4gen, eftersom Google fortfarande kan indexera en URL som den aldrig har genoms\u00f6kt.<\/p>\n
Om en s\u00f6kv\u00e4g verkligen beh\u00f6ver undvikas i s\u00f6kresultaten \u00e4r l\u00f6senordsskydd eller en noindex-tagg p\u00e5 en tillg\u00e4nglig sida r\u00e4tt metod, inte en Disallow-rad som bara talar om f\u00f6r nyfikna bes\u00f6kare exakt var de ska leta.<\/p>\n
55,24 % av sidorna p\u00e5 webben har inga bak\u00e5tl\u00e4nkar som pekar till dem enligt Ahrefs<\/a>, vilket inneb\u00e4r att de flesta sidor aldrig ens st\u00f6ter p\u00e5 problemet med indexering via externa l\u00e4nkar. De sidor som l\u00e4nkas \u00e4r oftast de som webbplats\u00e4gare vill skydda mest, vilket g\u00f6r det extra riskabelt att f\u00f6rlita sig p\u00e5 robots.txt f\u00f6r integritet.<\/p>\n Att utel\u00e4mna Sitemap-direktivet \u00e4r inte katastrofalt, eftersom webbplatskartor ocks\u00e5 kan skickas direkt via Search Console, men att inkludera det g\u00f6r filen mer komplett och ger alla crawlers en direkt s\u00f6kv\u00e4g till dina viktigaste webbadresser utan att vara beroende av en separat inl\u00e4mning.<\/p>\n Det kostar en rad och tar n\u00e5gra sekunder, s\u00e5 det finns liten anledning att hoppa \u00f6ver det p\u00e5 en korrekt konfigurerad webbplats.<\/p>\n N\u00e4r flera Disallow- och Allow-regler \u00f6verlappar varandra p\u00e5 samma s\u00f6kv\u00e4g till\u00e4mpar Googlebot den mest specifika regeln snarare \u00e4n den f\u00f6rsta som listas. L\u00e5nga listor med \u00f6verlappande regler skrivna av olika personer \u00f6ver tid mots\u00e4ger ofta varandra p\u00e5 s\u00e4tt som ingen uppt\u00e4cker f\u00f6rr\u00e4n trafiken minskar p\u00e5 en specifik sektion.<\/p>\n Av erfarenhet \u00e4r den renaste l\u00f6sningen p\u00e5 en r\u00f6rig \u00e4ldre fil att b\u00f6rja med en kort, avsiktlig regelupps\u00e4ttning snarare \u00e4n att f\u00f6rs\u00f6ka lappa \u00e5ratal av ackumulerade rader, s\u00e4rskilt p\u00e5 webbplatser som har bytt CMS eller byr\u00e5 mer \u00e4n en g\u00e5ng.<\/p>\n Bak\u00e5tl\u00e4nkar \u00e4r fortfarande en av Googles tre fr\u00e4msta rankingfaktorer, s\u00e5 det \u00e4r v\u00e4rt att komma ih\u00e5g att genoms\u00f6kningsfel orsakade av motstridiga regler kan undertrycka just de sidor som ditt l\u00e4nkbyggande arbete \u00e4r avsett att st\u00f6dja.<\/p>\n Det snabbaste s\u00e4ttet att uppt\u00e4cka ett robots.txt-misstag \u00e4r att testa representativa webbadresser i Google Search Consoles URL-inspektionsverktyg f\u00f6re och efter att en ny fil publicerats. Denna enda vana f\u00f6rhindrar n\u00e4stan alla katastrofer som beskrivs ovan, eftersom verktyget visar exakt hur Google f\u00f6r n\u00e4rvarande tolkar den aktiva filen.<\/p>\n Spampo\u00e4ng \u00f6ver 30 % anses vara h\u00f6grisk av Moz<\/a> av en helt annan anledning, l\u00e4nkkvalitet, men samma disciplin g\u00e4ller f\u00f6r robots.txt: kontrollera innan du antar, v\u00e4nta inte p\u00e5 en droppe f\u00f6r att uppt\u00e4cka att n\u00e5got gick fel.<\/p>\n \u00d6ppna Search Console, anv\u00e4nd URL-inspektion p\u00e5 viktiga sidor och kontrollera om verktyget rapporterar sidan som blockerad av robots.txt.<\/p>\n Inte omedelbart, men en generell Disallow kan stoppa oms\u00f6kningar, och sidor faller naturligt bort fr\u00e5n indexet med tiden eftersom Google inte bes\u00f6ker dem igen.<\/p>\n Det beror p\u00e5 om de tillf\u00f6r unikt v\u00e4rde eller skapar tunt duplicerat inneh\u00e5ll. M\u00e5nga webbplatser tj\u00e4nar b\u00e4ttre p\u00e5 noindex p\u00e5 dessa snarare \u00e4n fullst\u00e4ndig crawlblockering.<\/p>\n Google kan indexera en URL som uppt\u00e4ckts via en extern l\u00e4nk \u00e4ven utan att genoms\u00f6ka den, vilket \u00e4r anledningen till att blockerade sidor ibland fortfarande visas utan beskrivning.<\/p>\n Sj\u00e4lva filen uppdateras inom ungef\u00e4r en dag n\u00e4r Google lagrar den igen, men fullst\u00e4ndig \u00e5terst\u00e4llning av rankningar beror p\u00e5 hur l\u00e4nge felet fanns kvar och hur stor den drabbade sektionen var.<\/p>\n V\u00e5r Robots.txt-filgenerator<\/a> bygger en ren regelupps\u00e4ttning fr\u00e5n markeringar ist\u00e4llet f\u00f6r fritext, vilket eliminerar risken f\u00f6r stavfel helt. Kombinera det med v\u00e5r Bulk DA PA-kontrollant<\/a> f\u00f6r att h\u00e5lla koll p\u00e5 auktoriteter medan du \u00e5tg\u00e4rdar genoms\u00f6kningsproblem och kontrollerar v\u00e5r SEO-blogg<\/a> f\u00f6r fler tekniska SEO-genomg\u00e5ngar som den h\u00e4r.Gl\u00f6mmer webbplatskartans rad<\/h2>\n
Konfliktande regler \u00f6ver flera disallow-linjer<\/h2>\n
Testar inte innan publicering<\/h2>\n
Vanliga fr\u00e5gor<\/h2>\n
Hur vet jag om min robots.txt blockerar n\u00e5got viktigt?<\/h3>\n
Kan ett robots.txt-fel f\u00e5 hela min webbplats att avindexeras?<\/h3>\n
Ska jag blockera tagg- och kategorisidor p\u00e5 WordPress?<\/h3>\n
Varf\u00f6r visas min sida fortfarande i Google om den \u00e4r blockerad i robots.txt?<\/h3>\n
Hur snabbt kan jag \u00e5tg\u00e4rda ett robots.txt-fel n\u00e4r jag v\u00e4l hittat det?<\/h3>\n
Granska din fil innan det kostar dig trafik<\/h2>\n
\n