El archivo robots.txt parece tan sencillo que la mayoría de la gente ni siquiera lo prueba después de escribirlo. Precisamente esa confianza excesiva es la razón por la que causa tantos problemas. Un solo carácter incorrecto puede bloquear silenciosamente una carpeta llena de páginas, y como no hay ningún mensaje de error, nadie se da cuenta hasta que las clasificaciones empiezan a bajar.
Bloquear un sitio web completo por accidente
El error más perjudicial en robots.txt es dejar la línea Disallow: / en el archivo en producción, lo que bloquea todas las URL del dominio para todos los rastreadores. Esto ocurre con mayor frecuencia cuando el archivo robots.txt de un entorno de prueba se copia a producción sin revisión durante una migración o relanzamiento del sitio.
Por experiencia, esta es la emergencia más común a la que me llaman. Un desarrollador termina un rediseño, el archivo robots.txt de prueba con una directiva "Disallow" general se sube al servidor junto con todo lo demás, y dos o tres semanas después el tráfico orgánico se desploma sin una causa aparente hasta que alguien finalmente revisa el archivo.
La solución es rápida una vez detectada la anomalía, pero la recuperación no es instantánea. Google necesita volver a rastrear y reprocesar las URL afectadas, lo que puede tardar de días a semanas dependiendo del tamaño del sitio.
Bloqueo de archivos CSS y JavaScript
Bloquear carpetas como /wp-content/themes/ o /assets/js/ impide que Googlebot cargue los estilos y scripts necesarios para renderizar la página correctamente. Google evalúa las páginas renderizadas, por lo que una página que carga de forma incorrecta o incompleta puede ser juzgada erróneamente en cuanto a la calidad del diseño y el contenido durante la indexación.
Esto suele provenir de una antigua lista de verificación de seguridad que recomendaba bloquear las carpetas del "sistema" sin distinguir entre las rutas confidenciales del backend y las carpetas de recursos de cara al público que un tema realmente necesita para mostrarse correctamente.
- Comprueba que /wp-content/themes/ y /wp-content/plugins/ no estén bloqueados de forma generalizada.
- Permitir explícitamente extensiones de recursos comunes como .css y .js si una carpeta principal está bloqueada.
- Utilice la inspección de URL en Search Console para confirmar que la captura de pantalla mostrada se ve correcta.
Utilizar el archivo robots.txt para intentar ocultar páginas sensibles
El archivo robots.txt es público y cualquiera puede consultarlo visitando yoursite.com/robots.txt. Por lo tanto, incluir rutas sensibles allí en realidad revela su ubicación. Además, no impide la indexación si otro sitio enlaza a esa ruta, ya que Google puede indexar incluso una URL que nunca ha rastreado.
Si una ruta realmente debe permanecer fuera de los resultados de búsqueda, la protección con contraseña o una etiqueta noindex en una página accesible es el enfoque correcto, no una línea Disallow que simplemente les diga a los visitantes curiosos exactamente dónde buscar.
El 55,24% de las páginas web no tienen ningún enlace entrante que apunte a ellas, según AhrefsEsto significa que la mayoría de las páginas ni siquiera se enfrentan al problema de la indexación a través de enlaces externos. Las páginas que sí se enlazan suelen ser las que los propietarios de los sitios web más desean proteger, lo que hace que confiar en robots.txt para la privacidad sea especialmente arriesgado.
Olvidar la línea del mapa del sitio
Omitir la directiva Sitemap no es catastrófico, ya que los mapas del sitio también se pueden enviar directamente a través de Search Console, pero incluirla hace que el archivo sea más completo y proporciona a cualquier rastreador una ruta directa a sus URL más importantes sin depender de un envío por separado.
Cuesta una línea y tarda unos segundos, así que no hay muchas razones para omitirlo en un sitio web configurado correctamente.
Reglas contradictorias en varias líneas de exclusión
Cuando varias reglas de "Permitir" y "Disallow" se superponen en la misma ruta, Googlebot aplica la regla más específica en lugar de la primera de la lista. Las largas listas de reglas superpuestas, escritas por diferentes personas a lo largo del tiempo, suelen contradecirse entre sí de maneras que nadie detecta hasta que el tráfico disminuye en una sección específica.
Por experiencia, la solución más limpia para un archivo heredado desordenado es partir de un conjunto de reglas breve y bien definido, en lugar de intentar parchear años de líneas acumuladas, especialmente en sitios que han cambiado de CMS o de agencia más de una vez.
Los backlinks siguen siendo uno de los tres principales factores de clasificación de Google, por lo que conviene recordar que los errores de rastreo causados por reglas contradictorias pueden perjudicar precisamente las páginas que se supone que tu trabajo de creación de enlaces debe respaldar.
No realizar pruebas antes de publicar
La forma más rápida de detectar un error en robots.txt es probar URL representativas en la herramienta de inspección de URL de Google Search Console antes y después de publicar un nuevo archivo. Este simple hábito previene casi todos los problemas descritos anteriormente, ya que la herramienta muestra exactamente cómo Google interpreta el archivo en tiempo real.
Moz considera que una puntuación de spam superior al 30% representa un alto riesgo. Por un motivo completamente distinto, la calidad del enlace, pero la misma disciplina se aplica a robots.txt: comprueba antes de dar nada por sentado, no esperes a que se produzca una caída para descubrir que algo salió mal.
Preguntas frecuentes
¿Cómo puedo saber si mi archivo robots.txt está bloqueando algo importante?
Abre Search Console, usa la inspección de URL en las páginas clave y comprueba si la herramienta informa que la página está bloqueada por robots.txt.
¿Puede un error en robots.txt provocar que mi sitio web sea desindexado por completo?
No de forma instantánea, pero una restricción general de bloqueo puede detener el rastreo, y las páginas irán desapareciendo del índice de forma natural con el tiempo, ya que Google no las volverá a indexar.
¿Debo bloquear las páginas de etiquetas y categorías en WordPress?
Depende de si aportan valor único o crean contenido duplicado de baja calidad. Muchos sitios se benefician más de la etiqueta noindex en estos casos que del bloqueo total del rastreo.
¿Por qué mi página sigue apareciendo en Google si está bloqueada en robots.txt?
Google puede indexar una URL que ha descubierto a través de un enlace externo incluso sin rastrearla, razón por la cual a veces las páginas bloqueadas siguen apareciendo sin descripción.
¿Qué tan rápido puedo corregir un error en robots.txt una vez que lo encuentro?
El archivo se actualiza en aproximadamente un día, ya que Google lo vuelve a almacenar en caché, pero la recuperación total de las clasificaciones depende de cuánto tiempo estuvo activo el error y del tamaño de la sección afectada.
Audita tu archivo antes de que te cueste tráfico.
Nuestro generador de archivos Robots.txt crea un conjunto de reglas limpio a partir de selecciones en lugar de texto libre, eliminando por completo el riesgo de errores tipográficos. Combínalo con Nuestro comprobador DA PA a granel para controlar la autoridad mientras soluciona los problemas de rastreo y verifique nuestro blog de SEO Para análisis SEO más técnicos como este.
