Le sitemap et le fichier robots.txt se situent au m\u00eame niveau technique d'un site\u00a0: ce sont tous deux des fichiers texte que les robots d'exploration consultent en d\u00e9but de parcours. Cette proximit\u00e9 am\u00e8ne beaucoup de personnes \u00e0 penser qu'ils ont une fonction similaire. En r\u00e9alit\u00e9, ils ont des r\u00f4les presque oppos\u00e9s\u00a0: l'un facilite l'exploration, l'autre la restreint.<\/p>\n
Un sitemap XML est un fichier listant les URL de votre site que vous souhaitez que les moteurs de recherche explorent et prennent en compte pour l'indexation, incluant souvent des m\u00e9tadonn\u00e9es comme la date de derni\u00e8re modification. Il s'agit d'une invitation, et non d'une garantie, car Google d\u00e9cide toujours de mani\u00e8re ind\u00e9pendante d'explorer et d'indexer ou non chaque URL list\u00e9e.<\/p>\n
Un plan de site est particuli\u00e8rement utile pour les grands sites, les nouveaux sites avec peu de liens externes, ou les sites dont le contenu est difficile \u00e0 d\u00e9couvrir par le seul biais du crawl classique.<\/p>\n
Le fichier robots.txt est un fichier texte brut qui restreint les chemins d'acc\u00e8s que les robots d'exploration sont autoris\u00e9s \u00e0 interroger sur votre serveur. Alors qu'un sitemap indique \u00ab\u00a0veuillez explorer ces pages\u00a0\u00bb, le fichier robots.txt indique \u00ab\u00a0ne pas explorer ces pages\u00a0\u00bb, ce qui rend ces deux fichiers fonctionnellement oppos\u00e9s, m\u00eame s'ils se situent au m\u00eame niveau technique du site.<\/p>\n
Notre g\u00e9n\u00e9rateur de fichiers Robots.txt<\/a> Ce fichier est construit \u00e0 partir de s\u00e9lections simples, ce qui \u00e9vite l'erreur courante de bloquer accidentellement plus de donn\u00e9es que pr\u00e9vu avec un caract\u00e8re parasite dans une r\u00e8gle \u00e9crite manuellement.<\/p>\n Le fichier robots.txt contient g\u00e9n\u00e9ralement une directive Sitemap pointant vers l'emplacement du sitemap. Bien que cela soit consid\u00e9r\u00e9 comme une bonne pratique, ce n'est pas strictement n\u00e9cessaire, car les sitemaps peuvent \u00e9galement \u00eatre soumis directement via Google Search Console. Ces deux fichiers fonctionnent ind\u00e9pendamment et leur bon fonctionnement est ind\u00e9pendant.<\/em><\/p>\n Par exp\u00e9rience, j'ajoute la ligne Sitemap \u00e0 presque tous les fichiers robots.txt que j'\u00e9cris, que le client l'ait \u00e9galement soumis ou non via Search Console, car cela ne co\u00fbte qu'une ligne et donne \u00e0 n'importe quel robot d'exploration un chemin direct vers le sitemap sans aucun inconv\u00e9nient.<\/p>\n Si une URL figure dans votre sitemap mais est bloqu\u00e9e par le fichier robots.txt, cela envoie un signal contradictoire et rend l'entr\u00e9e du sitemap inutile, car Google ne peut pas explorer une URL qu'il a re\u00e7u la consigne d'\u00e9viter. Cette incoh\u00e9rence est l'une des erreurs techniques de r\u00e9f\u00e9rencement les plus fr\u00e9quentes constat\u00e9es lors des audits de sites.<\/p>\n D'exp\u00e9rience, cette contradiction se manifeste constamment sur les sites o\u00f9 le plan du site est g\u00e9n\u00e9r\u00e9 automatiquement par un plugin tandis que le fichier robots.txt a \u00e9t\u00e9 modifi\u00e9 manuellement par une autre personne, sans que personne ne v\u00e9rifie que les deux fichiers concordent.<\/p>\n Presque tous les sites b\u00e9n\u00e9ficient d'un sitemap, car il facilite la d\u00e9couverte du site, quelle que soit sa taille. Le fichier robots.txt est techniquement facultatif, car WordPress et la plupart des CMS en g\u00e9n\u00e8rent un par d\u00e9faut, mais un fichier personnalis\u00e9 s'av\u00e8re utile d\u00e8s lors que vous devez g\u00e9rer le budget d'exploration ou bloquer certains chemins d'acc\u00e8s.<\/p>\n Une configuration de crawl propre prend \u00e9galement en charge Autorit\u00e9 de domaine<\/a> La croissance est indirecte, car le DA repose en grande partie sur des signaux de liens entrants qui ne sont pris en compte que lorsque Google peut effectivement explorer et indexer la page vers laquelle ces liens pointent.<\/p>\nDoivent-ils se r\u00e9f\u00e9rer l'un \u00e0 l'autre ?<\/h2>\n
Que se passe-t-il si un sitemap r\u00e9pertorie une URL bloqu\u00e9e\u00a0?<\/h2>\n
Avez-vous besoin des deux fichiers\u00a0?<\/h2>\n