Un fichier robots.txt est un simple fichier texte contenant des règles qui se trouve à la racine de votre domaine et indique aux robots d'exploration comme Googlebot les chemins qu'ils sont autorisés à consulter. Il ne supprime pas automatiquement les pages de l'index de Google ; il gère uniquement l'exploration. Une syntaxe incorrecte peut bloquer discrètement les fichiers CSS, JS ou des sections entières d'un site sans aucun avertissement, ce qui peut entraîner une chute du classement dans les moteurs de recherche.
Ce que Robots.txt contrôle réellement
Le fichier robots.txt contrôle l'exploration, et non l'indexation. Il indique aux robots des moteurs de recherche les URL qu'ils sont autorisés à interroger sur votre serveur. Une page peut apparaître dans l'index de Google même si elle est bloquée dans le fichier robots.txt, généralement sans description, car Google l'aura trouvée via un lien et non en l'explorant directement.
La plupart des propriétaires de sites pensent que le fichier robots.txt est un outil de protection de la vie privée. Ce n'est pas le cas. Il s'agit d'un outil de gestion du trafic pour les robots d'exploration, situé à l'adresse votresite.com/robots.txt et lu avant presque tout autre élément de la page.
Les moteurs de recherche considèrent ce fichier comme une simple suggestion plutôt que comme une barrière infranchissable. Les robots bien conçus, tels que Googlebot et Bingbot, le suivent de près. Les robots d'indexation qui l'ignorent complètement sont courants ; par conséquent, robots.txt ne constitue jamais une mesure de sécurité efficace.
- Il gère le budget d'exploration sur les grands sites.
- Il empêche les robots d'accéder aux zones d'administration, aux pages de résultats de recherche et aux URL contenant des paramètres dupliqués.
- Il indique aux robots d'exploration l'emplacement de votre sitemap.
55,24 % des pages web n'ont aucun lien retour pointant vers elles, selon Recherche d'Ahrefset une grande partie de ces pages sont précisément le genre d'URL courtes et riches en paramètres que le fichier robots.txt est censé empêcher les robots d'exploration de consulter.
Comment Googlebot lit un fichier robots.txt
Avant d'explorer un domaine, Googlebot récupère le fichier robots.txt et le met en cache pendant environ 24 heures. Il lit les règles de haut en bas et applique la règle la plus spécifique, et non la première trouvée. Une règle d'autorisation plus précise peut prévaloir sur une règle d'interdiction plus générale pour le même robot.
Chaque bloc de règles commence par une ligne User-agent. Googlebot recherche spécifiquement un bloc adressé à “Googlebot” avant de se rabattre sur le bloc générique générique adressé à “*”.
J'ai déjà vu, par expérience, des agences déployer un nouveau fichier robots.txt lors d'une migration de test vers la production, en oubliant que la version de test contenait la ligne « Disallow: / » en tête. En quelques jours, le trafic organique sur les pages de catégories principales du client a chuté brutalement, et la seule solution a été de déployer un fichier corrigé et de demander une nouvelle analyse via la Search Console.
Notre générateur de fichiers Robots.txt évite précisément cette erreur en construisant le fichier à partir de règles sélectionnables au lieu de texte libre, de sorte qu'une barre oblique égarée ne peut pas supprimer l'accès d'exploration de l'ensemble d'un site.
Syntaxe du fichier robots.txt : Disallow, Allow et Sitemap
Les trois directives principales sont : User-agent pour cibler un robot spécifique, Disallow pour bloquer un chemin et Allow pour autoriser un chemin dans un dossier bloqué. Une ligne Sitemap pointant vers votre sitemap XML est facultative, mais recommandée, car elle offre aux robots d'exploration un accès direct à vos URL les plus importantes.
Un fichier de travail minimal ressemble à ceci :
| Directif | But | Exemple |
|---|---|---|
| Agent utilisateur | Cible un bot ou tous les bots | Agent utilisateur : * |
| Refuser | Bloque le passage pour le ramper | Interdire : /wp-admin/ |
| Permettre | Autorise un chemin d'accès à l'intérieur d'un dossier bloqué | Autoriser : /wp-admin/admin-ajax.php |
| Plan du site | Pointe vers votre fichier sitemap | Plan du site : https://example.com/sitemap.xml |
Les chemins sont sensibles à la casse et la correspondance s'effectue à partir du début de l'URL. La présence d'une barre oblique finale est importante, car `Disallow: /blog` et `Disallow: /blog/` ont un comportement différent quant à la portée de la correspondance.
Robots.txt et Noindex : ce n’est pas la même chose.
Le fichier robots.txt empêche un robot d'exploration d'accéder à une page, tandis que la balise méta noindex lui permet de visiter la page, mais lui indique de ne pas l'indexer dans les résultats de recherche. Bloquer une page avec robots.txt et lui ajouter la balise noindex est contradictoire, car Google ne peut pas lire cette balise sur une page qu'il n'est pas autorisé à explorer.
Il s'agit d'une des erreurs techniques les plus fréquentes en matière de référencement. Les propriétaires de sites souhaitent qu'une page soit retirée des résultats de recherche ; ils la bloquent donc dans le fichier robots.txt, puis s'étonnent qu'elle apparaisse toujours des semaines plus tard sans extrait.
Si l'objectif réel est la suppression des résultats de recherche, la procédure correcte est la suivante : autoriser l'exploration, ajouter une balise noindex, attendre que Google explore à nouveau et traite la balise, puis, éventuellement, bloquer le chemin une fois que le site a été supprimé.
Notre suite complète d'outils SEO comprend des vérifications qui signalent les pages présentant des signaux robots et noindex contradictoires avant qu'elles ne provoquent précisément cette confusion.
Quand faut-il bloquer une page et quand ne faut-il pas le faire ?
Bloquez les chemins d'accès sans intérêt pour le référencement naturel et qui gaspillent les ressources d'exploration, comme les pages de résultats de recherche internes, les URL du panier et de la page de paiement, les URL avec paramètres filtrés et les pages de connexion administrateur. Évitez de bloquer les répertoires CSS, JS ou d'images nécessaires à Google pour afficher la page, car les problèmes d'affichage affectent directement la compréhension et le classement du contenu.
Une erreur fréquente sur les sites WordPress consiste à bloquer entièrement le répertoire /wp-content/, ce qui peut entraîner la suppression des fichiers CSS et JS du thème dont Google a besoin pour afficher correctement la page. Google a clairement indiqué qu'il affiche les pages de manière similaire à un navigateur, et qu'une page qui ne s'affiche pas correctement peut être mal évaluée quant à la qualité de son contenu.
Les backlinks restent l'un des trois principaux facteurs de classement de Google, et toute cette autorité de lien n'a aucune importance si des problèmes d'exploration empêchent vos meilleures pages d'être traitées correctement dès le départ. L'autorité de domaine, un score de 1 à 100 développé par Moz pour prédire le potentiel de classement, repose sur les mêmes signaux de backlinks et d'exploration ; un fichier robots.txt mal configuré peut donc freiner insidieusement la croissance de l'autorité au fil du temps. Si vous auditez le profil de liens global d'un site tout en nettoyant les directives d'exploration, notre vérificateur de liens brisés en masse peut analyser la santé de vos backlinks et de vos liens sortants en une seule passe.
Comment tester votre fichier robots.txt
Testez les modifications à l'aide de l'outil d'inspection d'URL de Google Search Console. Cet outil vous montre précisément comment Googlebot interprète votre fichier robots.txt actuel pour chaque URL. Effectuez toujours des tests avant et après la publication des modifications, car un seul caractère mal placé peut bloquer bien plus d'URL que prévu.
D'après mon expérience, le modèle de déploiement le plus sûr que j'utilise avec les clients d'agences consiste à préparer le nouveau fichier, à tester cinq à dix URL représentatives sur le site via l'inspection d'URL, à confirmer que la ligne du sitemap se résout correctement, et à ne mettre en ligne que pendant une période de faible trafic afin que toute baisse inattendue soit facile à repérer et à corriger rapidement.
91 % des pages web ne reçoivent aucun trafic organique de Google, principalement en raison d'un manque de liens entrants, selon Données AhrefsUn fichier robots.txt défectueux peut faire basculer des pages pourtant performantes dans cette même catégorie, en empêchant tout simplement Google de les explorer.
Modèle de fichier robots.txt que vous pouvez copier
Un modèle de démarrage sécurisé autorise tous les robots d'exploration par défaut, bloque uniquement les chemins de recherche internes et d'administration, et inclut le plan du site. Ce modèle permet de conserver un fichier court, lisible et présentant un faible risque pour les sites ne souffrant pas de problèmes inhabituels de budget d'exploration.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Remplacez les chemins d'administration et l'URL du plan de site par les vôtres, puis vérifiez-les avec Search Console avant de considérer le travail comme terminé.
Foire aux questions
Le fichier robots.txt supprime-t-il des pages des résultats de recherche Google ?
Non. Cela bloque uniquement l'exploration. Une page bloquée peut toujours être indexée si Google la trouve via des liens externes, généralement sans description.
Où doit se trouver le fichier robots.txt ?
À la racine du domaine, par exemple example.com/robots.txt. Cela ne fonctionnera pas si le fichier est placé dans un sous-dossier.
Le fichier robots.txt peut-il bloquer uniquement certains robots ?
Oui. Utilisez un bloc User-agent dédié nommant le bot spécifique, tel que Googlebot ou Bingbot, avec ses propres règles Disallow distinctes du bloc générique.
Le fichier robots.txt est-il la même chose qu'une règle de pare-feu ?
Non. Il s'agit d'une instruction volontaire que les robots d'exploration respectueux des règles suivent. Elle n'offre aucune sécurité réelle et ne doit jamais être utilisée pour masquer des contenus sensibles.
À quelle fréquence Google vérifie-t-il le fichier robots.txt ?
Google met généralement le fichier en cache pendant environ 24 heures, les modifications ne sont donc pas instantanées mais prennent généralement effet dans un délai d'une journée.
Réglez correctement votre fichier robots.txt dès le premier coup.
Si vous voulez éviter les conjectures, notre générateur de fichiers Robots.txt crée un fichier propre et testé à partir de sélections simples, et notre outil DA PA gratuit vous permet de garder un œil sur l'autorité pendant que vous résolvez les problèmes d'exploration. Pour une analyse technique plus approfondie, notre consultant expert en référencement Les avis de service analysent les directives en parallèle du reste de votre configuration technique.
