Robots.txt ser så enkelt ut att de flesta aldrig testar det efter att ha skrivit det. Den överdrivna självsäkerheten är just därför den orsakar så mycket skada. Ett enda felaktigt tecken kan i tysthet blockera en mapp full av sidor, och eftersom det inte finns något felmeddelande märker ingen det förrän rankningen börjar sjunka.
Blockera en hel webbplats av misstag
Det mest skadliga robots.txt-misstaget är att lämna Disallow: / kvar i live-filen, vilket blockerar alla URL:er på domänen från alla crawlers. Detta händer oftast när en staging-miljös robots.txt kopieras till produktion utan granskning under en webbplatsmigrering eller omstart.
Av egen erfarenhet är detta den absolut vanligaste nödsituationen jag drabbas av. En utvecklare slutför en redesign, robots.txt-filen med en generell "Disallow" publiceras tillsammans med allt annat, och två till tre veckor senare har den organiska trafiken rasat utför utan någon uppenbar orsak tills någon äntligen kontrollerar själva filen.
Åtgärden är snabb när den väl upptäcks, men återställningen sker inte omedelbar. Google måste genomsöka och bearbeta de berörda webbadresserna på nytt, vilket kan ta dagar till veckor beroende på webbplatsens storlek.
Blockera CSS- och JavaScript-filer
Att blockera mappar som /wp-content/themes/ eller /assets/js/ hindrar Googlebot från att ladda den stil och de skript som behövs för att rendera sidan korrekt. Google utvärderar renderade sidor, så en sida som laddas trasig eller ofullständig kan felbedömas utifrån layout och innehållskvalitet under indexering.
Detta kommer vanligtvis från en gammal säkerhetschecklista som rekommenderade att blockera "system"-mappar utan att skilja mellan känsliga backend-sökvägar och de publika tillgångsmappar som ett tema faktiskt behöver för att visas korrekt.
- Kontrollera att /wp-content/themes/ och /wp-content/plugins/ inte är allmänt blockerade
- Tillåt vanliga tillgångstillägg som .css och .js explicit om en överordnad mapp är blockerad
- Använd URL-inspektion i Search Console för att bekräfta att den renderade skärmdumpen ser korrekt ut
Använda Robots.txt för att försöka dölja känsliga sidor
Robots.txt är en offentlig fil som vem som helst kan se genom att besöka yoursite.com/robots.txt, så att lista känsliga sökvägar där annonserar faktiskt deras plats. Det gör inte heller något för att förhindra indexering om en annan webbplats länkar till den sökvägen, eftersom Google fortfarande kan indexera en URL som den aldrig har genomsökt.
Om en sökväg verkligen behöver undvikas i sökresultaten är lösenordsskydd eller en noindex-tagg på en tillgänglig sida rätt metod, inte en Disallow-rad som bara talar om för nyfikna besökare exakt var de ska leta.
55,24 % av sidorna på webben har inga bakåtlänkar som pekar till dem enligt Ahrefs, vilket innebär att de flesta sidor aldrig ens stöter på problemet med indexering via externa länkar. De sidor som länkas är oftast de som webbplatsägare vill skydda mest, vilket gör det extra riskabelt att förlita sig på robots.txt för integritet.
Glömmer webbplatskartans rad
Att utelämna Sitemap-direktivet är inte katastrofalt, eftersom webbplatskartor också kan skickas direkt via Search Console, men att inkludera det gör filen mer komplett och ger alla crawlers en direkt sökväg till dina viktigaste webbadresser utan att vara beroende av en separat inlämning.
Det kostar en rad och tar några sekunder, så det finns liten anledning att hoppa över det på en korrekt konfigurerad webbplats.
Konfliktande regler över flera disallow-linjer
När flera Disallow- och Allow-regler överlappar varandra på samma sökväg tillämpar Googlebot den mest specifika regeln snarare än den första som listas. Långa listor med överlappande regler skrivna av olika personer över tid motsäger ofta varandra på sätt som ingen upptäcker förrän trafiken minskar på en specifik sektion.
Av erfarenhet är den renaste lösningen på en rörig äldre fil att börja med en kort, avsiktlig regeluppsättning snarare än att försöka lappa åratal av ackumulerade rader, särskilt på webbplatser som har bytt CMS eller byrå mer än en gång.
Bakåtlänkar är fortfarande en av Googles tre främsta rankingfaktorer, så det är värt att komma ihåg att genomsökningsfel orsakade av motstridiga regler kan undertrycka just de sidor som ditt länkbyggande arbete är avsett att stödja.
Testar inte innan publicering
Det snabbaste sättet att upptäcka ett robots.txt-misstag är att testa representativa webbadresser i Google Search Consoles URL-inspektionsverktyg före och efter att en ny fil publicerats. Denna enda vana förhindrar nästan alla katastrofer som beskrivs ovan, eftersom verktyget visar exakt hur Google för närvarande tolkar den aktiva filen.
Spampoäng över 30 % anses vara högrisk av Moz av en helt annan anledning, länkkvalitet, men samma disciplin gäller för robots.txt: kontrollera innan du antar, vänta inte på en droppe för att upptäcka att något gick fel.
Vanliga frågor
Hur vet jag om min robots.txt blockerar något viktigt?
Öppna Search Console, använd URL-inspektion på viktiga sidor och kontrollera om verktyget rapporterar sidan som blockerad av robots.txt.
Kan ett robots.txt-fel få hela min webbplats att avindexeras?
Inte omedelbart, men en generell Disallow kan stoppa omsökningar, och sidor faller naturligt bort från indexet med tiden eftersom Google inte besöker dem igen.
Ska jag blockera tagg- och kategorisidor på WordPress?
Det beror på om de tillför unikt värde eller skapar tunt duplicerat innehåll. Många webbplatser tjänar bättre på noindex på dessa snarare än fullständig crawlblockering.
Varför visas min sida fortfarande i Google om den är blockerad i robots.txt?
Google kan indexera en URL som upptäckts via en extern länk även utan att genomsöka den, vilket är anledningen till att blockerade sidor ibland fortfarande visas utan beskrivning.
Hur snabbt kan jag åtgärda ett robots.txt-fel när jag väl hittat det?
Själva filen uppdateras inom ungefär en dag när Google lagrar den igen, men fullständig återställning av rankningar beror på hur länge felet fanns kvar och hur stor den drabbade sektionen var.
Granska din fil innan det kostar dig trafik
Vår Robots.txt-filgenerator bygger en ren regeluppsättning från markeringar istället för fritext, vilket eliminerar risken för stavfel helt. Kombinera det med vår Bulk DA PA-kontrollant för att hålla koll på auktoriteter medan du åtgärdar genomsökningsproblem och kontrollerar vår SEO-blogg för fler tekniska SEO-genomgångar som den här.
