WordPress génère automatiquement un fichier robots.txt virtuel si vous n'en créez pas de physique, et la plupart des propriétaires de sites ignorent son contenu. Ce fichier par défaut convient généralement à un petit blog, mais toute personne utilisant WooCommerce, des extensions d'adhésion ou une bibliothèque de contenu importante a besoin d'un contrôle plus précis.
Où WordPress cache son fichier robots.txt par défaut
WordPress génère un fichier robots.txt virtuel à l'adresse votresite.com/robots.txt même sans fichier physique à la racine du site. Cette version par défaut bloque généralement /wp-admin/ tout en autorisant admin-ajax.php, et elle disparaît dès que vous téléchargez un fichier robots.txt réel pour la remplacer.
Vous pouvez constater ce comportement par défaut en accédant directement au fichier robots.txt de votre site via un navigateur. Si vous ne l'avez jamais modifié, il s'agit de la version intégrée à WordPress, et non d'une configuration effectuée par un plugin ou un développeur.
Modifier le fichier robots.txt via un plugin SEO
La plupart des principaux plugins SEO pour WordPress, comme Yoast SEO et Rank Math, intègrent un éditeur de fichier robots.txt dans leurs paramètres. C'est la méthode la plus simple pour les utilisateurs non techniques, car elle ne nécessite aucun transfert de fichier ni accès FTP et enregistre les modifications directement depuis le tableau de bord WordPress.
Le plugin écrit un fichier robots.txt physique sur le serveur lors de la première sauvegarde des modifications via son éditeur, remplaçant ainsi définitivement le fichier virtuel par défaut.
- Yoast SEO : Menu Outils, Éditeur de fichiers
- Rank Math : Paramètres généraux, Modifier robots.txt
- SEO tout-en-un : outils, éditeur de robots.txt
Modification manuelle du fichier robots.txt via FTP
Connectez-vous à votre serveur via un client FTP, accédez au dossier racine contenant le fichier wp-config.php, puis modifiez le fichier robots.txt existant ou créez un nouveau fichier texte portant exactement le même nom. Cette méthode fonctionne quel que soit le plugin installé et vous offre un contrôle total sur le contenu brut.
Par expérience, c'est la méthode que j'utilise systématiquement lorsque l'éditeur de plugin SEO d'un client présente un dysfonctionnement ou lorsque je dois déployer un fichier identique sur plusieurs installations WordPress simultanément lors d'une refonte à l'échelle de l'agence. Le téléchargement direct du fichier élimine tout problème lié aux spécificités du plugin.
Chemins spécifiques à WordPress qu'il convient de bloquer
Au-delà du blocage par défaut de /wp-admin/, les sites WordPress ont généralement intérêt à interdire les URL de résultats de recherche internes, les liens de réponse aux commentaires avec paramètres de suivi et les variantes de flux réservées à l'administration. Aucun de ces chemins n'apporte de valeur au référencement, et leur blocage permet aux robots d'exploration de consacrer plus de temps au contenu pertinent.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Disallow: /search/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Évitez de bloquer l'accès à /wp-content/ en tant que dossier entier, car ce chemin contient les fichiers de ressources du thème et des plugins dont Google a besoin pour afficher correctement les pages.
Considérations relatives à WooCommerce et aux plugins d'adhésion
Les boutiques WooCommerce ont généralement intérêt à bloquer les chemins d'accès au panier, à la page de paiement et à mon compte dans le fichier robots.txt, car ces pages sont spécifiques à l'utilisateur et n'apportent aucune valeur en matière de référencement. Les extensions d'abonnement et de paywall génèrent souvent des URL similaires, liées au compte, qu'il est également judicieux d'exclure.
91 % des pages ne reçoivent aucun trafic organique de Google, selon Ahrefs, souvent parce que les pages concurrentes pour ce trafic sont peu fournies, dupliquées ou ne correspondent tout simplement pas au type de contenu recherché, ce qui est précisément le cas des pages de panier et de compte.
Si vous gérez une boutique WooCommerce et souhaitez vérifier à grande échelle les performances de vos pages produits en matière de signaux d'autorité, Notre vérificateur DA PA en vrac Gère jusqu'à 50 domaines ou chemins en une seule passe.
Tester vos modifications sans perturber le site
Après avoir enregistré toute modification du fichier robots.txt dans WordPress, testez le fichier en direct en visitant votresite.com/robots.txt directement dans un navigateur, puis exécutez quelques pages clés à l'aide de l'outil d'inspection d'URL de Google Search Console pour confirmer qu'elles ne sont pas bloquées de manière inattendue.
D'expérience, les sites WordPress les plus touchés sont ceux qui utilisent des migrations automatisées ou des outils de synchronisation entre l'environnement de test et l'environnement de production, où un fichier robots.txt modifié pour un environnement de développement est discrètement reporté en production sans que personne ne le vérifie lors du déploiement.
Les backlinks restent l'un des trois principaux facteurs de classement de Google, et un déploiement défectueux du fichier robots.txt sur un site WordPress peut anéantir des mois de travail de création de backlinks en une seule sauvegarde négligente. L'autorité de domaine, le score Moz de 1 à 100, est largement basé sur ces mêmes signaux de backlinks.C'est l'un des indicateurs les plus faciles à surveiller pour détecter les premiers signes d'un problème d'exploration. Vérifiez toujours avant de poursuivre.
Foire aux questions
Ai-je besoin d'un plugin robots.txt si j'utilise déjà Yoast ou Rank Math ?
Non, les deux plugins incluent un éditeur de robots.txt intégré, un plugin dédié séparé est donc inutile.
La suppression de mon fichier robots.txt personnalisé rétablira-t-elle le fichier par défaut de WordPress ?
Oui, la suppression du fichier physique restaure automatiquement la version par défaut virtuelle du noyau WordPress.
Dois-je bloquer /wp-includes/ dans le fichier robots.txt de WordPress ?
En général non, car le noyau WordPress moderne n'a plus besoin de ce blocage, et certaines ressources qu'il contient peuvent être nécessaires au rendu.
Est-il possible d'avoir des règles robots.txt différentes pour un site WordPress de test ?
Oui, et vous devriez le faire, car il est généralement préférable de bloquer complètement les sites de test avec `Disallow: /` jusqu'au lancement, puis de passer aux règles de production.
Comment puis-je vérifier si mon fichier robots.txt WordPress est bien actif ?
Accédez directement à votresite.com/robots.txt dans n'importe quel navigateur. Si vos règles personnalisées s'affichent à la place des règles par défaut de WordPress, le fichier est actif.
Créez un fichier robots.txt plus sûr pour votre site WordPress.
Notre générateur de fichiers Robots.txt crée un fichier compatible WordPress à partir de simples sélections, sans configuration FTP ni plugin. Pour un suivi d'autorité continu sur les sites clients, notre outil DA PA gratuit couvre jusqu'à 50 domaines simultanément, et notre consultant expert en référencement Ce service peut auditer l'intégralité de votre configuration technique si vous souhaitez un deuxième avis.
