Le fichier robots.txt para\u00eet si simple que la plupart des gens ne le testent jamais apr\u00e8s l'avoir \u00e9crit. C'est pr\u00e9cis\u00e9ment cette confiance excessive qui est \u00e0 l'origine des d\u00e9g\u00e2ts qu'il cause. Un seul caract\u00e8re erron\u00e9 peut bloquer discr\u00e8tement un dossier entier de pages, et comme aucun message d'erreur n'est affich\u00e9, personne ne s'en aper\u00e7oit avant que le r\u00e9f\u00e9rencement ne commence \u00e0 chuter.<\/p>\n
L'erreur la plus dommageable concernant le fichier robots.txt est de laisser la ligne \u00ab Disallow: \/ \u00bb dans le fichier en production, ce qui bloque toutes les URL du domaine pour tous les robots d'exploration. Cela se produit le plus souvent lorsque le fichier robots.txt de l'environnement de test est copi\u00e9 en production sans v\u00e9rification lors d'une migration ou d'une relance de site.<\/p>\n
D'exp\u00e9rience, c'est l'urgence la plus fr\u00e9quente pour laquelle je suis appel\u00e9. Un d\u00e9veloppeur termine une refonte, le fichier robots.txt de test avec une interdiction g\u00e9n\u00e9rale (\u00ab\u00a0Disallow\u00a0\u00bb) est mis en ligne avec tout le reste, et deux \u00e0 trois semaines plus tard, le trafic organique s'effondre sans raison apparente jusqu'\u00e0 ce que quelqu'un v\u00e9rifie enfin le fichier lui-m\u00eame.<\/p>\n
La correction est rapide une fois le probl\u00e8me identifi\u00e9, mais la r\u00e9cup\u00e9ration n'est pas instantan\u00e9e. Google doit r\u00e9explorer et retraiter les URL concern\u00e9es, ce qui peut prendre de quelques jours \u00e0 plusieurs semaines selon la taille du site.<\/p>\n
Bloquer des dossiers comme \/wp-content\/themes\/ ou \/assets\/js\/ emp\u00eache Googlebot de charger les styles et les scripts n\u00e9cessaires \u00e0 un affichage correct de la page. Google \u00e9value les pages rendues\u00a0; par cons\u00e9quent, une page qui se charge incorrectement ou de mani\u00e8re incompl\u00e8te peut \u00eatre mal interpr\u00e9t\u00e9e quant \u00e0 la qualit\u00e9 de sa mise en page et de son contenu lors de l'indexation.<\/p>\n
Cela provient g\u00e9n\u00e9ralement d'une ancienne liste de contr\u00f4le de s\u00e9curit\u00e9 qui recommandait de bloquer les dossiers \u00ab\u00a0syst\u00e8me\u00a0\u00bb sans faire la distinction entre les chemins d'acc\u00e8s sensibles et les dossiers de ressources publics dont un th\u00e8me a r\u00e9ellement besoin pour s'afficher correctement.<\/p>\n
Le fichier robots.txt est public et accessible \u00e0 tous via votresite.com\/robots.txt. Par cons\u00e9quent, y inscrire des chemins sensibles revient \u00e0 divulguer leur emplacement. De plus, cela n'emp\u00eache en rien l'indexation si un autre site y fait r\u00e9f\u00e9rence, car Google peut indexer une URL qu'il n'a jamais explor\u00e9e.<\/p>\n
Si un chemin d'acc\u00e8s doit r\u00e9ellement rester hors des r\u00e9sultats de recherche, la protection par mot de passe ou l'utilisation d'une balise noindex sur une page accessible est la bonne approche, et non une ligne Disallow qui indique simplement aux visiteurs curieux o\u00f9 chercher.<\/p>\n
55,24 % des pages web n'ont aucun lien retour pointant vers elles, selon Ahrefs<\/a>Ce qui signifie que la plupart des pages ne sont jamais confront\u00e9es au probl\u00e8me de l'indexation via des liens externes. Les pages qui re\u00e7oivent des liens sont g\u00e9n\u00e9ralement celles que les propri\u00e9taires de sites souhaitent le plus prot\u00e9ger, ce qui rend le recours au fichier robots.txt pour la protection de la vie priv\u00e9e particuli\u00e8rement risqu\u00e9.<\/p>\n Omettre la directive Sitemap n'est pas catastrophique, car les sitemaps peuvent \u00e9galement \u00eatre soumis directement via Search Console, mais l'inclure rend le fichier plus complet et donne \u00e0 tout robot d'exploration un chemin direct vers vos URL les plus importantes sans d\u00e9pendre d'une soumission s\u00e9par\u00e9e.<\/p>\n Cela ne co\u00fbte qu'une ligne et prend quelques secondes, il y a donc peu de raisons de l'omettre sur un site correctement configur\u00e9.<\/p>\n Lorsque plusieurs r\u00e8gles d'interdiction et d'autorisation se chevauchent sur un m\u00eame chemin, Googlebot applique la r\u00e8gle la plus sp\u00e9cifique plut\u00f4t que la premi\u00e8re de la liste. Les longues listes de r\u00e8gles qui se recoupent, r\u00e9dig\u00e9es par diff\u00e9rentes personnes au fil du temps, se contredisent souvent sans que personne ne s'en aper\u00e7oive jusqu'\u00e0 ce que le trafic chute sur une section particuli\u00e8re.<\/p>\n D'exp\u00e9rience, la solution la plus propre pour corriger un fichier h\u00e9rit\u00e9 d\u00e9sordonn\u00e9 consiste \u00e0 partir d'un ensemble de r\u00e8gles court et d\u00e9lib\u00e9r\u00e9 plut\u00f4t que d'essayer de corriger des ann\u00e9es de lignes accumul\u00e9es, en particulier sur les sites qui ont chang\u00e9 de CMS ou d'agence plus d'une fois.<\/p>\n Les backlinks restent l'un des trois principaux facteurs de classement de Google, il est donc important de se rappeler que les erreurs d'exploration caus\u00e9es par des r\u00e8gles contradictoires peuvent supprimer les pages m\u00eames que votre travail de cr\u00e9ation de liens est cens\u00e9 soutenir.<\/p>\n Le moyen le plus rapide de d\u00e9tecter une erreur dans le fichier robots.txt est de tester des URL repr\u00e9sentatives dans l'outil d'inspection d'URL de Google Search Console avant et apr\u00e8s la publication d'un nouveau fichier. Cette simple pr\u00e9caution permet d'\u00e9viter la quasi-totalit\u00e9 des probl\u00e8mes d\u00e9crits pr\u00e9c\u00e9demment, car l'outil indique pr\u00e9cis\u00e9ment comment Google interpr\u00e8te actuellement le fichier en production.<\/p>\n Moz consid\u00e8re qu'un score de spam sup\u00e9rieur \u00e0 30 % pr\u00e9sente un risque \u00e9lev\u00e9.<\/a> Pour une raison totalement diff\u00e9rente, la qualit\u00e9 des liens, mais la m\u00eame r\u00e8gle s'applique au fichier robots.txt\u00a0: v\u00e9rifiez avant de tirer des conclusions, n'attendez pas une baisse de performance pour vous rendre compte qu'il y a un probl\u00e8me.<\/p>\n Ouvrez Search Console, utilisez l'inspection d'URL sur les pages cl\u00e9s et v\u00e9rifiez si l'outil signale que la page est bloqu\u00e9e par robots.txt.<\/p>\n Pas instantan\u00e9ment, mais une interdiction g\u00e9n\u00e9rale peut emp\u00eacher le r\u00e9indexage, et les pages disparaissent naturellement de l'index au fil du temps, Google ne les r\u00e9examinant pas.<\/p>\n Cela d\u00e9pend de leur valeur ajout\u00e9e\u00a0: apportent-elles une valeur ajout\u00e9e unique ou cr\u00e9ent-elles un contenu dupliqu\u00e9 de faible qualit\u00e9\u00a0? De nombreux sites ont int\u00e9r\u00eat \u00e0 opter pour l\u2019indexation nulle plut\u00f4t que pour un blocage complet du crawl.<\/p>\n Google peut indexer une URL d\u00e9couverte via un lien externe m\u00eame sans l'explorer, ce qui explique pourquoi des pages bloqu\u00e9es apparaissent parfois encore sans description.<\/p>\n Le fichier lui-m\u00eame se met \u00e0 jour en une journ\u00e9e environ, au fur et \u00e0 mesure que Google le recache, mais le r\u00e9tablissement complet des classements d\u00e9pend de la dur\u00e9e pendant laquelle l'erreur est rest\u00e9e en vigueur et de la taille de la section affect\u00e9e.<\/p>\n Notre g\u00e9n\u00e9rateur de fichiers Robots.txt<\/a> Il g\u00e9n\u00e8re un ensemble de r\u00e8gles claires \u00e0 partir de s\u00e9lections plut\u00f4t que de texte libre, \u00e9liminant ainsi tout risque de faute de frappe. \u00c0 associer avec Notre v\u00e9rificateur DA PA en vrac<\/a> pour garder un \u0153il sur l'autorit\u00e9 pendant que vous corrigez les probl\u00e8mes d'exploration, et v\u00e9rifiez notre blog SEO<\/a> pour des analyses SEO plus techniques comme celle-ci.Oublier la ligne du plan du site<\/h2>\n
R\u00e8gles contradictoires sur plusieurs lignes d'interdiction<\/h2>\n
Pas de test avant publication<\/h2>\n
Foire aux questions<\/h2>\n
Comment savoir si mon fichier robots.txt bloque quelque chose d'important\u00a0?<\/h3>\n
Une erreur dans le fichier robots.txt peut-elle entra\u00eener la d\u00e9sindexation de tout mon site\u00a0?<\/h3>\n
Dois-je bloquer les pages de tags et de cat\u00e9gories sur WordPress\u00a0?<\/h3>\n
Pourquoi ma page appara\u00eet-elle encore dans Google si elle est bloqu\u00e9e dans le fichier robots.txt\u00a0?<\/h3>\n
\u00c0 quelle vitesse puis-je corriger une erreur dans le fichier robots.txt une fois que je l'ai trouv\u00e9e\u00a0?<\/h3>\n
V\u00e9rifiez votre fichier avant qu'il ne vous co\u00fbte du trafic<\/h2>\n
\n