En robots.txt-fil är ett regelblad i vanlig text som finns i roten av din domän och talar om för sökmotorer som Googlebot vilka sökvägar de kan begära. Den tar inte bort sidor från Googles index på egen hand, den hanterar bara genomsökningen. Om du använder fel syntax kan du tyst blockera CSS, JS eller hela delar av en webbplats utan förvarning tills rankningen sjunker.
Vad Robots.txt faktiskt styr
Robots.txt styr genomsökning, inte indexering. Den talar om för sökmotorernas robotar vilka webbadresser de får begära från din server. En sida kan fortfarande visas i Googles index även om den är blockerad i robots.txt, vanligtvis utan beskrivning, eftersom Google hittade den via en länk istället för genom att genomsöka den direkt.
De flesta webbplatsägare antar att robots.txt är ett integritetsverktyg. Det är det inte. Det är ett trafikhanteringsverktyg för crawlers, som finns på yoursite.com/robots.txt och läses före nästan allt annat på sidan.
Sökmotorer respekterar filen som ett starkt förslag snarare än en hård vägg. Väluppfostrade robotar som Googlebot och Bingbot följer den noggrant. Skrapor som ignorerar den helt är vanliga, så robots.txt är aldrig en säkerhetsåtgärd.
- Den hanterar genomsökningsbudgeten på stora webbplatser
- Det håller botar borta från administratörsområden, sökresultatsidor och duplicerade parameter-URL:er
- Den pekar sökrobotar till din webbplatskartas plats
55,24 % av sidorna på webben har inga bakåtlänkar som pekar till dem enligt Ahrefs forskning, och en stor andel av dessa sidor är precis den typ av tunna, parametertunga URL:er som robots.txt är avsedd att hålla sökrobotar borta från första början.
Hur Googlebot läser en Robots.txt-fil
Googlebot hämtar robots.txt innan den genomsöker en domän och cachar den i ungefär 24 timmar. Den läser reglerna från topp till tå och tillämpar den mest specifika matchande regeln, inte den första den hittar. En mer specifik Tillåt-regel kan åsidosätta en bredare Disallow-regel för samma bot.
Varje regelblock börjar med en User-agent-rad. Googlebot letar efter ett block adresserat specifikt till 'Googlebot' innan den återgår till det generiska jokerteckenblocket adresserat till '*'.
Av egen erfarenhet har jag sett byråer skicka en ny robots.txt till en migrering från staging till produktion och glömma att stagingversionen hade Disallow: / högst upp. Inom några dagar minskade antalet organiska sessioner på klientens huvudkategorisidor kraftigt, och den enda lösningen var att skicka en korrigerad fil och begära en ny genomsökning via Search Console.
Vår Robots.txt-filgenerator undviker just detta misstag genom att bygga filen från valbara regler istället för fritext, så ett snedstreck kan inte utplåna en hel webbplats genomsökningsåtkomst.
Robots.txt-syntax: Disallow, Allow och Sitemap
De tre kärndirektiven är User-agent för att rikta in sig på en specifik bot, Disallow för att blockera en sökväg och Allow för att tillåta en sökväg inuti en blockerad mapp. En Sitemap-rad som pekar på din XML-webbplatskarta är valfri men rekommenderas, eftersom den ger crawlers en direkt väg till dina viktigaste webbadresser.
En minimal arbetsfil ser ut så här:
| Direktiv | Ändamål | Exempel |
|---|---|---|
| Användaragent | Riktar in sig på en bot eller alla bottar | Användaragent: * |
| Inte godkänna | Blockerar en krypningsväg | Tillåt inte: /wp-admin/ |
| Tillåta | Tillåter en sökväg inuti en blockerad mapp | Tillåt: /wp-admin/admin-ajax.php |
| Webbplatskarta | Pekar på din webbplatskartfil | Webbplatskarta: https://example.com/sitemap.xml |
Sökvägar är skiftlägeskänsliga och matchar från början av URL-sökvägen. Ett avslutande snedstreck är viktigt eftersom Disallow: /blog och Disallow: /blog/ beter sig olika i hur brett de matchar.
Robots.txt vs Noindex: De är inte samma sak
Robots.txt hindrar en sökrobot från att begära en sida, medan en noindex-metatagg låter sökroboten besöka sidan men säger åt den att inte lagra sidan i sökresultaten. Att blockera en sida med robots.txt och lägga till noindex på samma sida är motsägelsefullt, eftersom Google inte kan läsa noindex-taggen på en sida som den inte har tillåtelse att genomsöka.
Detta är en av de vanligaste tekniska SEO-misstagen. Webbplatsägare vill att en sida ska tas bort från sökresultaten, så de blockerar den i robots.txt och undrar sedan varför den fortfarande dyker upp veckor senare utan något kodavsnitt.
Om det faktiska målet är borttagning från sökresultaten är rätt ordning: tillåt genomsökning, lägg till en noindex-tagg, vänta på att Google genomsöker igen och bearbetar taggen, och blockera sedan valfritt sökvägen när den har tagits bort.
Vår kompletta uppsättning SEO-verktyg inkluderar kontroller som flaggar sidor med motstridiga robot- och noindex-signaler innan de orsakar just denna förvirring.
När du bör och inte bör blockera en sida
Blockera sökvägar som inte har något SEO-värde och slösar bort crawl-resurser, såsom interna sökresultatsidor, varukorgs- och kassa-URL:er, filtrerade parameter-URL:er och administratörsinloggningssidor. Undvik att blockera CSS, JS eller bildkataloger som Google behöver för att rendera sidan, eftersom renderingsproblem direkt påverkar hur innehållet förstås och rankas.
Ett vanligt misstag på WordPress-webbplatser är att blockera /wp-content/ helt och hållet, vilket kan sopa upp tema-CSS- och JS-filer som Google behöver för att rendera sidan korrekt. Google har varit tydliga med att de renderar sidor ungefär som en webbläsare gör, och en sida som inte renderas korrekt kan få felaktiga innehållskvaliteter.
Bakåtlänkar är fortfarande en av Googles tre främsta rankingfaktorer, och ingen av dessa länkjämlikheter spelar någon roll om genomsökningsproblem hindrar dina bästa sidor från att bearbetas korrekt från första början. Domänauktoritet, en poäng från 1 till 100 utvecklad av Moz för att förutsäga rankingförmåga, är byggt på samma bakåtlänks- och crawlsignaler, så en slarvig robots.txt-fil kan i tysthet dra ner auktoritetstillväxten över tid. Om du granskar en webbplats övergripande länkprofil medan du rensar upp crawldirektiv, vår kontroll av trasiga länkar i bulk kan skanna din bakåtlänks- och utgående länkhälsa i samma svep.
Så här testar du din Robots.txt-fil
Testa ändringar med Google Search Consoles URL-inspektionsverktyg, som visar exakt hur Googlebot tolkar din nuvarande robots.txt för en given URL. Testa alltid före och efter publicering av ändringar, eftersom ett enda felplacerat tecken kan blockera betydligt fler än avsett.
Av erfarenhet är det säkraste utrullningsmönstret jag använder med byråkunder att stage den nya filen, testa fem till tio representativa webbadresser över webbplatsen genom URL-inspektion, bekräfta att webbplatskartraden löses korrekt och först sedan publiceras under ett fönster med låg trafik så att eventuella oväntade fall är lätta att upptäcka och snabbt ångra.
91 % av sidorna på webben får noll organisk trafik från Google, till stor del på grund av brist på bakåtlänkar som pekar till dem, enligt Ahrefs-dataEn trasig robots.txt-fil kan placera annars starka sidor i samma kategori genom att helt enkelt hindra Google från att genomsöka dem överhuvudtaget.
Robots.txt-mall som du kan kopiera
En säker startmall tillåter alla robotar som standard, blockerar endast administratörs- och interna sökvägar och listar webbplatskartan. Detta håller filen kort, läsbar och med låg risk för webbplatser utan ovanliga problem med genomsökningsbudgeten.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Byt ut dina egna administratörssökvägar och webbplatskartans URL och verifiera det sedan med Search Console innan du anser jobbet vara klart.
Vanliga frågor
Tar robots.txt bort sidor från Googles sökresultat?
Nej. Den blockerar bara genomsökning. En blockerad sida kan fortfarande indexeras om Google hittar den via externa länkar, vanligtvis utan beskrivning.
Var ska robots.txt-filen finnas?
I roten av domänen, till exempel example.com/robots.txt. Den fungerar inte om den placeras i en undermapp.
Kan robots.txt bara blockera specifika robotar?
Ja. Använd ett dedikerat User-agent-block som namnger den specifika boten, till exempel Googlebot eller Bingbot, med egna Disallow-regler separata från jokerteckenblocket.
Är robots.txt samma sak som en brandväggsregel?
Nej. Det är en frivillig instruktion som väluppfostrade sökmotoroptimerare följer. Den ger ingen verklig säkerhet och bör aldrig användas för att dölja känsligt innehåll.
Hur ofta kontrollerar Google robots.txt igen?
Google cachar vanligtvis filen i cirka 24 timmar, så ändringar är inte omedelbara utan träder vanligtvis i kraft inom en dag.
Få din Robots.txt rätt första gången
Om du vill slippa gissningsleken, vår Robots.txt-filgenerator bygger en ren, testad fil från enkla val, och vårt kostnadsfria DA PA-verktyg hjälper dig att hålla koll på auktoriteten medan du åtgärdar genomsökningsproblem. För ett mer djupgående tekniskt godkännande, vår expert SEO-konsult tjänstegranskningar, crawldirektiv tillsammans med resten av din tekniska installation.
