El archivo robots.txt parece tan sencillo que la mayor\u00eda de la gente ni siquiera lo prueba despu\u00e9s de escribirlo. Precisamente esa confianza excesiva es la raz\u00f3n por la que causa tantos problemas. Un solo car\u00e1cter incorrecto puede bloquear silenciosamente una carpeta llena de p\u00e1ginas, y como no hay ning\u00fan mensaje de error, nadie se da cuenta hasta que las clasificaciones empiezan a bajar.<\/p>\n
El error m\u00e1s perjudicial en robots.txt es dejar la l\u00ednea Disallow: \/ en el archivo en producci\u00f3n, lo que bloquea todas las URL del dominio para todos los rastreadores. Esto ocurre con mayor frecuencia cuando el archivo robots.txt de un entorno de prueba se copia a producci\u00f3n sin revisi\u00f3n durante una migraci\u00f3n o relanzamiento del sitio.<\/p>\n
Por experiencia, esta es la emergencia m\u00e1s com\u00fan a la que me llaman. Un desarrollador termina un redise\u00f1o, el archivo robots.txt de prueba con una directiva \"Disallow\" general se sube al servidor junto con todo lo dem\u00e1s, y dos o tres semanas despu\u00e9s el tr\u00e1fico org\u00e1nico se desploma sin una causa aparente hasta que alguien finalmente revisa el archivo.<\/p>\n
La soluci\u00f3n es r\u00e1pida una vez detectada la anomal\u00eda, pero la recuperaci\u00f3n no es instant\u00e1nea. Google necesita volver a rastrear y reprocesar las URL afectadas, lo que puede tardar de d\u00edas a semanas dependiendo del tama\u00f1o del sitio.<\/p>\n
Bloquear carpetas como \/wp-content\/themes\/ o \/assets\/js\/ impide que Googlebot cargue los estilos y scripts necesarios para renderizar la p\u00e1gina correctamente. Google eval\u00faa las p\u00e1ginas renderizadas, por lo que una p\u00e1gina que carga de forma incorrecta o incompleta puede ser juzgada err\u00f3neamente en cuanto a la calidad del dise\u00f1o y el contenido durante la indexaci\u00f3n.<\/p>\n
Esto suele provenir de una antigua lista de verificaci\u00f3n de seguridad que recomendaba bloquear las carpetas del \"sistema\" sin distinguir entre las rutas confidenciales del backend y las carpetas de recursos de cara al p\u00fablico que un tema realmente necesita para mostrarse correctamente.<\/p>\n
El archivo robots.txt es p\u00fablico y cualquiera puede consultarlo visitando yoursite.com\/robots.txt. Por lo tanto, incluir rutas sensibles all\u00ed en realidad revela su ubicaci\u00f3n. Adem\u00e1s, no impide la indexaci\u00f3n si otro sitio enlaza a esa ruta, ya que Google puede indexar incluso una URL que nunca ha rastreado.<\/p>\n
Si una ruta realmente debe permanecer fuera de los resultados de b\u00fasqueda, la protecci\u00f3n con contrase\u00f1a o una etiqueta noindex en una p\u00e1gina accesible es el enfoque correcto, no una l\u00ednea Disallow que simplemente les diga a los visitantes curiosos exactamente d\u00f3nde buscar.<\/p>\n
El 55,24% de las p\u00e1ginas web no tienen ning\u00fan enlace entrante que apunte a ellas, seg\u00fan Ahrefs<\/a>Esto significa que la mayor\u00eda de las p\u00e1ginas ni siquiera se enfrentan al problema de la indexaci\u00f3n a trav\u00e9s de enlaces externos. Las p\u00e1ginas que s\u00ed se enlazan suelen ser las que los propietarios de los sitios web m\u00e1s desean proteger, lo que hace que confiar en robots.txt para la privacidad sea especialmente arriesgado.<\/p>\n Omitir la directiva Sitemap no es catastr\u00f3fico, ya que los mapas del sitio tambi\u00e9n se pueden enviar directamente a trav\u00e9s de Search Console, pero incluirla hace que el archivo sea m\u00e1s completo y proporciona a cualquier rastreador una ruta directa a sus URL m\u00e1s importantes sin depender de un env\u00edo por separado.<\/p>\n Cuesta una l\u00ednea y tarda unos segundos, as\u00ed que no hay muchas razones para omitirlo en un sitio web configurado correctamente.<\/p>\n Cuando varias reglas de \"Permitir\" y \"Disallow\" se superponen en la misma ruta, Googlebot aplica la regla m\u00e1s espec\u00edfica en lugar de la primera de la lista. Las largas listas de reglas superpuestas, escritas por diferentes personas a lo largo del tiempo, suelen contradecirse entre s\u00ed de maneras que nadie detecta hasta que el tr\u00e1fico disminuye en una secci\u00f3n espec\u00edfica.<\/p>\n Por experiencia, la soluci\u00f3n m\u00e1s limpia para un archivo heredado desordenado es partir de un conjunto de reglas breve y bien definido, en lugar de intentar parchear a\u00f1os de l\u00edneas acumuladas, especialmente en sitios que han cambiado de CMS o de agencia m\u00e1s de una vez.<\/p>\n Los backlinks siguen siendo uno de los tres principales factores de clasificaci\u00f3n de Google, por lo que conviene recordar que los errores de rastreo causados \u200b\u200bpor reglas contradictorias pueden perjudicar precisamente las p\u00e1ginas que se supone que tu trabajo de creaci\u00f3n de enlaces debe respaldar.<\/p>\n La forma m\u00e1s r\u00e1pida de detectar un error en robots.txt es probar URL representativas en la herramienta de inspecci\u00f3n de URL de Google Search Console antes y despu\u00e9s de publicar un nuevo archivo. Este simple h\u00e1bito previene casi todos los problemas descritos anteriormente, ya que la herramienta muestra exactamente c\u00f3mo Google interpreta el archivo en tiempo real.<\/p>\n Moz considera que una puntuaci\u00f3n de spam superior al 30% representa un alto riesgo.<\/a> Por un motivo completamente distinto, la calidad del enlace, pero la misma disciplina se aplica a robots.txt: comprueba antes de dar nada por sentado, no esperes a que se produzca una ca\u00edda para descubrir que algo sali\u00f3 mal.<\/p>\n Abre Search Console, usa la inspecci\u00f3n de URL en las p\u00e1ginas clave y comprueba si la herramienta informa que la p\u00e1gina est\u00e1 bloqueada por robots.txt.<\/p>\n No de forma instant\u00e1nea, pero una restricci\u00f3n general de bloqueo puede detener el rastreo, y las p\u00e1ginas ir\u00e1n desapareciendo del \u00edndice de forma natural con el tiempo, ya que Google no las volver\u00e1 a indexar.<\/p>\n Depende de si aportan valor \u00fanico o crean contenido duplicado de baja calidad. Muchos sitios se benefician m\u00e1s de la etiqueta noindex en estos casos que del bloqueo total del rastreo.<\/p>\n Google puede indexar una URL que ha descubierto a trav\u00e9s de un enlace externo incluso sin rastrearla, raz\u00f3n por la cual a veces las p\u00e1ginas bloqueadas siguen apareciendo sin descripci\u00f3n.<\/p>\n El archivo se actualiza en aproximadamente un d\u00eda, ya que Google lo vuelve a almacenar en cach\u00e9, pero la recuperaci\u00f3n total de las clasificaciones depende de cu\u00e1nto tiempo estuvo activo el error y del tama\u00f1o de la secci\u00f3n afectada.<\/p>\n Nuestro generador de archivos Robots.txt<\/a> crea un conjunto de reglas limpio a partir de selecciones en lugar de texto libre, eliminando por completo el riesgo de errores tipogr\u00e1ficos. Comb\u00ednalo con Nuestro comprobador DA PA a granel<\/a> para controlar la autoridad mientras soluciona los problemas de rastreo y verifique nuestro blog de SEO<\/a> Para an\u00e1lisis SEO m\u00e1s t\u00e9cnicos como este.Olvidar la l\u00ednea del mapa del sitio<\/h2>\n
Reglas contradictorias en varias l\u00edneas de exclusi\u00f3n<\/h2>\n
No realizar pruebas antes de publicar<\/h2>\n
Preguntas frecuentes<\/h2>\n
\u00bfC\u00f3mo puedo saber si mi archivo robots.txt est\u00e1 bloqueando algo importante?<\/h3>\n
\u00bfPuede un error en robots.txt provocar que mi sitio web sea desindexado por completo?<\/h3>\n
\u00bfDebo bloquear las p\u00e1ginas de etiquetas y categor\u00edas en WordPress?<\/h3>\n
\u00bfPor qu\u00e9 mi p\u00e1gina sigue apareciendo en Google si est\u00e1 bloqueada en robots.txt?<\/h3>\n
\u00bfQu\u00e9 tan r\u00e1pido puedo corregir un error en robots.txt una vez que lo encuentro?<\/h3>\n
Audita tu archivo antes de que te cueste tr\u00e1fico.<\/h2>\n
\n