En robots.txt-fil \u00e4r ett regelblad i vanlig text som finns i roten av din dom\u00e4n och talar om f\u00f6r s\u00f6kmotorer som Googlebot vilka s\u00f6kv\u00e4gar de kan beg\u00e4ra. Den tar inte bort sidor fr\u00e5n Googles index p\u00e5 egen hand, den hanterar bara genoms\u00f6kningen. Om du anv\u00e4nder fel syntax kan du tyst blockera CSS, JS eller hela delar av en webbplats utan f\u00f6rvarning tills rankningen sjunker.<\/p>\n
Robots.txt styr genoms\u00f6kning, inte indexering. Den talar om f\u00f6r s\u00f6kmotorernas robotar vilka webbadresser de f\u00e5r beg\u00e4ra fr\u00e5n din server. En sida kan fortfarande visas i Googles index \u00e4ven om den \u00e4r blockerad i robots.txt, vanligtvis utan beskrivning, eftersom Google hittade den via en l\u00e4nk ist\u00e4llet f\u00f6r genom att genoms\u00f6ka den direkt.<\/p>\n
De flesta webbplats\u00e4gare antar att robots.txt \u00e4r ett integritetsverktyg. Det \u00e4r det inte. Det \u00e4r ett trafikhanteringsverktyg f\u00f6r crawlers, som finns p\u00e5 yoursite.com\/robots.txt och l\u00e4ses f\u00f6re n\u00e4stan allt annat p\u00e5 sidan.<\/p>\n
S\u00f6kmotorer respekterar filen som ett starkt f\u00f6rslag snarare \u00e4n en h\u00e5rd v\u00e4gg. V\u00e4luppfostrade robotar som Googlebot och Bingbot f\u00f6ljer den noggrant. Skrapor som ignorerar den helt \u00e4r vanliga, s\u00e5 robots.txt \u00e4r aldrig en s\u00e4kerhets\u00e5tg\u00e4rd.<\/p>\n