WordPress genererar en virtuell robots.txt-fil automatiskt om du aldrig skapar en fysisk, och de flesta webbplatsägare har ingen aning om vad som finns i den. Den standardfilen är vanligtvis bra för en liten blogg, men alla som kör WooCommerce, medlemskapsplugins eller ett stort innehållsbibliotek behöver mer kontroll än vad standardfilen ger dem.
Var WordPress döljer sin standard Robots.txt
WordPress genererar en virtuell robots.txt-fil på yoursite.com/robots.txt även utan en fysisk fil i rotkatalogen. Standardversionen blockerar vanligtvis /wp-admin/ medan den tillåter admin-ajax.php, och den försvinner i samma ögonblick som du laddar upp en riktig robots.txt-fil för att åsidosätta den.
Du kan se denna standard genom att besöka din egen webbplats robots.txt-sökväg direkt i en webbläsare. Om du aldrig har rört den är det du ser WordPress kärnas inbyggda version, inte något som ett plugin eller en utvecklare har konfigurerat.
Redigera Robots.txt via ett SEO-plugin
De flesta större WordPress SEO-plugins, inklusive Yoast SEO och Rank Math, har en inbyggd robots.txt-redigerare under sina verktygsinställningar. Detta är den enklaste metoden för icke-tekniska användare eftersom den inte kräver några filuppladdningar eller FTP-åtkomst och sparar ändringar direkt via WordPress instrumentpanel.
Plugin-programmet skriver en fysisk robots.txt till servern första gången du sparar ändringar via dess redigerare, och ersätter den virtuella standardfilen permanent.
- Yoast SEO: Verktygsmeny, Filredigerare
- Rankmatematik: Allmänna inställningar, Redigera robots.txt
- Allt-i-ett SEO: Verktyg, Robots.txt-redigerare
Redigera Robots.txt manuellt via FTP
Anslut till din server med en FTP-klient, navigera till rotmappen där wp-config.php finns och redigera antingen den befintliga robots.txt-filen eller skapa en ny vanlig textfil med exakt samma namn. Den här metoden fungerar oavsett vilka plugins som är installerade och ger full kontroll över det råa innehållet.
Av egen erfarenhet är det här den väg jag tar när en klients SEO-pluginredigerare krånglar eller när jag behöver skicka en identisk fil över flera WordPress-installationer samtidigt under en byråomfattande rensning. En direkt filuppladdning tar bort alla plugin-specifika egenheter från ekvationen.
WordPress-specifika sökvägar värda att blockera
Utöver standardblocket /wp-admin/ drar WordPress-webbplatser ofta nytta av att inte tillåta interna sökresultats-URL:er, svarslänkar för kommentarer med spårningsparametrar och flödesvariationer endast för administratörer. Ingen av dessa sökvägar erbjuder sökvärde, och att blockera dem hjälper crawlers att lägga mer tid på faktiskt innehåll.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Disallow: /search/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Undvik att neka /wp-content/ som en hel mapp, eftersom den sökvägen innehåller tema- och plugin-resursfilerna som Google behöver för att rendera sidor korrekt.
Att tänka på med WooCommerce och medlemskapsplugin
WooCommerce-butiker brukar dra nytta av att blockera sökvägar till varukorg, kassa och mitt konto i robots.txt, eftersom dessa sidor är användarspecifika och inte erbjuder något SEO-värde. Medlemskaps- och betalväggs-plugins genererar ofta liknande kontodrivna webbadresser som är värda att exkludera på samma sätt.
91 % av sidorna får noll organisk trafik från Google, enligt Ahrefs, ofta för att sidorna som konkurrerar om den trafiken är tunna, duplicerade eller helt enkelt inte den typ av innehåll som någon söker efter, vilket är precis den kategorin som varukorgs- och kontosidor faller inom.
Om du driver en WooCommerce-butik och vill kontrollera hur dina produktsidor presterar på auktoritetssignaler i stor skala, vår Bulk DA PA-kontrollant hanterar upp till 50 domäner eller sökvägar i ett enda steg.
Testa dina ändringar utan att förstöra webbplatsen
Efter att du har sparat eventuella robots.txt-ändringar i WordPress, testa den aktiva filen genom att besöka yoursite.com/robots.txt direkt i en webbläsare och kör sedan ett antal viktiga sidor via Google Search Consoles URL-inspektionsverktyg för att bekräfta att de inte är oväntat blockerade.
Erfarenhetsmässigt är de WordPress-webbplatser som bränns hårdast de som kör automatiserade migreringar eller synkroniseringsverktyg för staging-to-live, där en robots.txt som redigerats för en utvecklingsmiljö tyst överförs till produktionsuppdateringen utan att någon granskar den i distributionschecklistan.
Bakåtlänkar är fortfarande en av Googles tre främsta rankningsfaktorer, och en trasig robots.txt-utrullning på en WordPress-webbplats kan undergräva månaders bakåtlänksarbete i en enda slarvig sparning. Domänauktoritet, Moz-poängen från 1 till 100 bygger till stor del på samma bakåtlänkssignaler, är ett av de enklaste mätvärdena att hålla koll på för tidiga varningstecken på ett crawlproblem. Verifiera alltid innan du går vidare.
Vanliga frågor
Behöver jag ett robots.txt-plugin om jag redan använder Yoast eller Rank Math?
Nej, båda plugin-programmen har en inbyggd robots.txt-redigerare, så ett separat dedikerat plugin är onödigt.
Kommer jag att återställa WordPress standardinställningar om jag tar bort min anpassade robots.txt?
Ja, om du tar bort den fysiska filen återställs WordPress-kärnans virtuella standardversion automatiskt.
Ska jag blockera /wp-includes/ i WordPress robots.txt?
Generellt nej, eftersom moderna WordPress-kärnor inte längre behöver detta blockeras, och vissa resurser inuti den kan krävas för rendering.
Kan jag ha olika robots.txt-regler för en staging-WordPress-webbplats?
Ja, och det borde du, eftersom det oftast är bättre att blockera staging-webbplatser helt med `Disallow: /` fram till lansering, och sedan byta till produktionsreglerna.
Hur kontrollerar jag om min WordPress robots.txt faktiskt är aktiv?
Besök yoursite.com/robots.txt direkt i valfri webbläsare. Om dina anpassade regler visas istället för den generiska WordPress-standardfilen är filen aktiv.
Skapa en säkrare Robots.txt-fil för din WordPress-webbplats
Vår Robots.txt-filgenerator skapar en WordPress-klar fil från enkla val, inga FTP- eller plugin-inställningar krävs. För kontinuerlig auktoritetsspårning över klientwebbplatser, vårt kostnadsfria DA PA-verktyg täcker upp till 50 domäner samtidigt, och vår expert SEO-konsult Tjänsten kan granska hela din tekniska installation om du vill ha en andra åsikt.
