El mapa del sitio y el archivo robots.txt se encuentran en la misma capa t\u00e9cnica de un sitio web; ambos son archivos de texto plano que los rastreadores revisan al inicio, y esa proximidad lleva a mucha gente a suponer que cumplen pr\u00e1cticamente la misma funci\u00f3n. En realidad, hacen cosas casi opuestas: uno permite el rastreo, el otro lo restringe.<\/p>\n
Un mapa del sitio XML es un archivo que enumera las URL de tu sitio que deseas que los motores de b\u00fasqueda rastreen y consideren para su indexaci\u00f3n, incluyendo a menudo metadatos como la fecha de \u00faltima modificaci\u00f3n. Se trata de una invitaci\u00f3n, no de una garant\u00eda, ya que Google decide de forma independiente si rastrea e indexa cada URL de la lista.<\/p>\n
Un mapa del sitio resulta muy \u00fatil para sitios web grandes, sitios nuevos con pocos enlaces externos o sitios con contenido dif\u00edcil de descubrir mediante el rastreo normal.<\/p>\n
Robots.txt es un archivo de texto plano que restringe las rutas que los rastreadores pueden solicitar desde su servidor. Mientras que un mapa del sitio indica \"por favor, rastreen estas p\u00e1ginas\", robots.txt indica \"no rastreen estas p\u00e1ginas\", lo que hace que ambos archivos tengan un prop\u00f3sito funcionalmente opuesto, aunque se encuentren en una capa t\u00e9cnica similar del sitio.<\/p>\n
Nuestro generador de archivos Robots.txt<\/a> Este archivo se construye a partir de selecciones simples, lo que evita el error com\u00fan de bloquear accidentalmente m\u00e1s de lo previsto con un car\u00e1cter err\u00f3neo en una regla escrita manualmente.<\/p>\n El archivo Robots.txt suele incluir una directiva Sitemap que apunta a la ubicaci\u00f3n del mapa del sitio, lo cual se considera una buena pr\u00e1ctica, pero no es estrictamente necesario, ya que los mapas del sitio tambi\u00e9n se pueden enviar directamente a trav\u00e9s de Google Search Console. Ambos archivos funcionan de forma independiente y no dependen el uno del otro para funcionar correctamente.<\/em><\/p>\n Por experiencia, a\u00f1ado la l\u00ednea Sitemap a casi todos los archivos robots.txt que escribo, independientemente de si el cliente tambi\u00e9n los ha enviado a trav\u00e9s de Search Console, ya que solo ocupa una l\u00ednea y proporciona a cualquier rastreador una ruta directa al mapa del sitio sin ning\u00fan inconveniente.<\/p>\n Si una URL aparece en tu mapa del sitio pero est\u00e1 bloqueada por robots.txt, esto env\u00eda una se\u00f1al contradictoria que desperdicia la entrada del mapa del sitio, ya que Google no puede rastrear una URL que se le ha indicado que evite. Esta discrepancia es uno de los errores t\u00e9cnicos de SEO m\u00e1s comunes que se detectan durante las auditor\u00edas de sitios web.<\/p>\n Por experiencia, esta misma contradicci\u00f3n se presenta constantemente en sitios donde el mapa del sitio se genera autom\u00e1ticamente mediante un complemento, mientras que el archivo robots.txt fue editado manualmente por otra persona, sin que nadie verifique que ambos archivos coincidan entre s\u00ed.<\/p>\n Casi todos los sitios web se benefician de tener un mapa del sitio, ya que facilita su descubrimiento independientemente de su tama\u00f1o. El archivo robots.txt es t\u00e9cnicamente opcional, puesto que WordPress y la mayor\u00eda de las plataformas CMS generan uno b\u00e1sico por defecto autom\u00e1ticamente, pero vale la pena tener un archivo personalizado en el momento en que necesite gestionar el presupuesto de rastreo o bloquear rutas espec\u00edficas.<\/p>\n Una configuraci\u00f3n de rastreo limpia tambi\u00e9n admite Autoridad de dominio<\/a> El crecimiento es indirecto, ya que la autoridad de dominio (DA) se basa en gran medida en se\u00f1ales de enlaces entrantes que solo cuentan una vez que Google puede rastrear e indexar la p\u00e1gina a la que apuntan esos enlaces.<\/p>\n\u00bfNecesitan hacer referencia entre s\u00ed?<\/h2>\n
\u00bfQu\u00e9 sucede si un mapa del sitio incluye una URL bloqueada?<\/h2>\n
\u00bfNecesitas ambos archivos?<\/h2>\n