WordPress g\u00e9n\u00e8re automatiquement un fichier robots.txt virtuel si vous n'en cr\u00e9ez pas de physique, et la plupart des propri\u00e9taires de sites ignorent son contenu. Ce fichier par d\u00e9faut convient g\u00e9n\u00e9ralement \u00e0 un petit blog, mais toute personne utilisant WooCommerce, des extensions d'adh\u00e9sion ou une biblioth\u00e8que de contenu importante a besoin d'un contr\u00f4le plus pr\u00e9cis.<\/p>\n
WordPress g\u00e9n\u00e8re un fichier robots.txt virtuel \u00e0 l'adresse votresite.com\/robots.txt m\u00eame sans fichier physique \u00e0 la racine du site. Cette version par d\u00e9faut bloque g\u00e9n\u00e9ralement \/wp-admin\/ tout en autorisant admin-ajax.php, et elle dispara\u00eet d\u00e8s que vous t\u00e9l\u00e9chargez un fichier robots.txt r\u00e9el pour la remplacer.<\/p>\n
Vous pouvez constater ce comportement par d\u00e9faut en acc\u00e9dant directement au fichier robots.txt de votre site via un navigateur. Si vous ne l'avez jamais modifi\u00e9, il s'agit de la version int\u00e9gr\u00e9e \u00e0 WordPress, et non d'une configuration effectu\u00e9e par un plugin ou un d\u00e9veloppeur.<\/p>\n
La plupart des principaux plugins SEO pour WordPress, comme Yoast SEO et Rank Math, int\u00e8grent un \u00e9diteur de fichier robots.txt dans leurs param\u00e8tres. C'est la m\u00e9thode la plus simple pour les utilisateurs non techniques, car elle ne n\u00e9cessite aucun transfert de fichier ni acc\u00e8s FTP et enregistre les modifications directement depuis le tableau de bord WordPress.<\/em><\/p>\n Le plugin \u00e9crit un fichier robots.txt physique sur le serveur lors de la premi\u00e8re sauvegarde des modifications via son \u00e9diteur, rempla\u00e7ant ainsi d\u00e9finitivement le fichier virtuel par d\u00e9faut.<\/p>\n Connectez-vous \u00e0 votre serveur via un client FTP, acc\u00e9dez au dossier racine contenant le fichier wp-config.php, puis modifiez le fichier robots.txt existant ou cr\u00e9ez un nouveau fichier texte portant exactement le m\u00eame nom. Cette m\u00e9thode fonctionne quel que soit le plugin install\u00e9 et vous offre un contr\u00f4le total sur le contenu brut.<\/p>\n Par exp\u00e9rience, c'est la m\u00e9thode que j'utilise syst\u00e9matiquement lorsque l'\u00e9diteur de plugin SEO d'un client pr\u00e9sente un dysfonctionnement ou lorsque je dois d\u00e9ployer un fichier identique sur plusieurs installations WordPress simultan\u00e9ment lors d'une refonte \u00e0 l'\u00e9chelle de l'agence. Le t\u00e9l\u00e9chargement direct du fichier \u00e9limine tout probl\u00e8me li\u00e9 aux sp\u00e9cificit\u00e9s du plugin.<\/p>\n Au-del\u00e0 du blocage par d\u00e9faut de \/wp-admin\/, les sites WordPress ont g\u00e9n\u00e9ralement int\u00e9r\u00eat \u00e0 interdire les URL de r\u00e9sultats de recherche internes, les liens de r\u00e9ponse aux commentaires avec param\u00e8tres de suivi et les variantes de flux r\u00e9serv\u00e9es \u00e0 l'administration. Aucun de ces chemins n'apporte de valeur au r\u00e9f\u00e9rencement, et leur blocage permet aux robots d'exploration de consacrer plus de temps au contenu pertinent.<\/p>\n \u00c9vitez de bloquer l'acc\u00e8s \u00e0 \/wp-content\/ en tant que dossier entier, car ce chemin contient les fichiers de ressources du th\u00e8me et des plugins dont Google a besoin pour afficher correctement les pages.<\/p>\n Les boutiques WooCommerce ont g\u00e9n\u00e9ralement int\u00e9r\u00eat \u00e0 bloquer les chemins d'acc\u00e8s au panier, \u00e0 la page de paiement et \u00e0 mon compte dans le fichier robots.txt, car ces pages sont sp\u00e9cifiques \u00e0 l'utilisateur et n'apportent aucune valeur en mati\u00e8re de r\u00e9f\u00e9rencement. Les extensions d'abonnement et de paywall g\u00e9n\u00e8rent souvent des URL similaires, li\u00e9es au compte, qu'il est \u00e9galement judicieux d'exclure.<\/p>\n 91 % des pages ne re\u00e7oivent aucun trafic organique de Google, selon Ahrefs<\/a>, souvent parce que les pages concurrentes pour ce trafic sont peu fournies, dupliqu\u00e9es ou ne correspondent tout simplement pas au type de contenu recherch\u00e9, ce qui est pr\u00e9cis\u00e9ment le cas des pages de panier et de compte.<\/p>\n Si vous g\u00e9rez une boutique WooCommerce et souhaitez v\u00e9rifier \u00e0 grande \u00e9chelle les performances de vos pages produits en mati\u00e8re de signaux d'autorit\u00e9, Notre v\u00e9rificateur DA PA en vrac<\/a> G\u00e8re jusqu'\u00e0 50 domaines ou chemins en une seule passe.<\/p>\n Apr\u00e8s avoir enregistr\u00e9 toute modification du fichier robots.txt dans WordPress, testez le fichier en direct en visitant votresite.com\/robots.txt directement dans un navigateur, puis ex\u00e9cutez quelques pages cl\u00e9s \u00e0 l'aide de l'outil d'inspection d'URL de Google Search Console pour confirmer qu'elles ne sont pas bloqu\u00e9es de mani\u00e8re inattendue.<\/p>\n D'exp\u00e9rience, les sites WordPress les plus touch\u00e9s sont ceux qui utilisent des migrations automatis\u00e9es ou des outils de synchronisation entre l'environnement de test et l'environnement de production, o\u00f9 un fichier robots.txt modifi\u00e9 pour un environnement de d\u00e9veloppement est discr\u00e8tement report\u00e9 en production sans que personne ne le v\u00e9rifie lors du d\u00e9ploiement.<\/p>\n Les backlinks restent l'un des trois principaux facteurs de classement de Google, et un d\u00e9ploiement d\u00e9fectueux du fichier robots.txt sur un site WordPress peut an\u00e9antir des mois de travail de cr\u00e9ation de backlinks en une seule sauvegarde n\u00e9gligente. L'autorit\u00e9 de domaine, le score Moz de 1 \u00e0 100, est largement bas\u00e9 sur ces m\u00eames signaux de backlinks.<\/a>C'est l'un des indicateurs les plus faciles \u00e0 surveiller pour d\u00e9tecter les premiers signes d'un probl\u00e8me d'exploration. V\u00e9rifiez toujours avant de poursuivre.<\/p>\n Non, les deux plugins incluent un \u00e9diteur de robots.txt int\u00e9gr\u00e9, un plugin d\u00e9di\u00e9 s\u00e9par\u00e9 est donc inutile.<\/p>\n Oui, la suppression du fichier physique restaure automatiquement la version par d\u00e9faut virtuelle du noyau WordPress.<\/p>\n En g\u00e9n\u00e9ral non, car le noyau WordPress moderne n'a plus besoin de ce blocage, et certaines ressources qu'il contient peuvent \u00eatre n\u00e9cessaires au rendu.<\/p>\n Oui, et vous devriez le faire, car il est g\u00e9n\u00e9ralement pr\u00e9f\u00e9rable de bloquer compl\u00e8tement les sites de test avec `Disallow: \/` jusqu'au lancement, puis de passer aux r\u00e8gles de production.<\/p>\n Acc\u00e9dez directement \u00e0 votresite.com\/robots.txt dans n'importe quel navigateur. Si vos r\u00e8gles personnalis\u00e9es s'affichent \u00e0 la place des r\u00e8gles par d\u00e9faut de WordPress, le fichier est actif.<\/p>\n Notre g\u00e9n\u00e9rateur de fichiers Robots.txt<\/a> cr\u00e9e un fichier compatible WordPress \u00e0 partir de simples s\u00e9lections, sans configuration FTP ni plugin. Pour un suivi d'autorit\u00e9 continu sur les sites clients, notre outil DA PA gratuit<\/a> couvre jusqu'\u00e0 50 domaines simultan\u00e9ment, et notre consultant expert en r\u00e9f\u00e9rencement<\/a> Ce service peut auditer l'int\u00e9gralit\u00e9 de votre configuration technique si vous souhaitez un deuxi\u00e8me avis.\n
Modification manuelle du fichier robots.txt via FTP<\/h2>\n
Chemins sp\u00e9cifiques \u00e0 WordPress qu'il convient de bloquer<\/h2>\n
User-agent: *\r\nDisallow: \/wp-admin\/\r\nDisallow: \/?s=\r\nDisallow: \/search\/\r\nAllow: \/wp-admin\/admin-ajax.php\r\nSitemap: https:\/\/example.com\/sitemap_index.xml<\/pre>\n
Consid\u00e9rations relatives \u00e0 WooCommerce et aux plugins d'adh\u00e9sion<\/h2>\n
Tester vos modifications sans perturber le site<\/h2>\n
Foire aux questions<\/h2>\n
Ai-je besoin d'un plugin robots.txt si j'utilise d\u00e9j\u00e0 Yoast ou Rank Math\u00a0?<\/h3>\n
La suppression de mon fichier robots.txt personnalis\u00e9 r\u00e9tablira-t-elle le fichier par d\u00e9faut de WordPress\u00a0?<\/h3>\n
Dois-je bloquer \/wp-includes\/ dans le fichier robots.txt de WordPress\u00a0?<\/h3>\n
Est-il possible d'avoir des r\u00e8gles robots.txt diff\u00e9rentes pour un site WordPress de test\u00a0?<\/h3>\n
Comment puis-je v\u00e9rifier si mon fichier robots.txt WordPress est bien actif ?<\/h3>\n
Cr\u00e9ez un fichier robots.txt plus s\u00fbr pour votre site WordPress.<\/h2>\n
\n