Un archivo robots.txt es una hoja de reglas en texto plano que se ubica en la raíz de tu dominio e indica a los rastreadores como Googlebot qué rutas pueden solicitar. No elimina páginas del índice de Google por sí solo, solo gestiona el rastreo. Si la sintaxis es incorrecta, puedes bloquear silenciosamente CSS, JavaScript o secciones completas de un sitio sin previo aviso hasta que el posicionamiento baje.
Qué controla realmente Robots.txt
El archivo robots.txt controla el rastreo, no la indexación. Indica a los bots de los motores de búsqueda qué URL pueden solicitar desde tu servidor. Una página puede aparecer en el índice de Google aunque esté bloqueada en robots.txt, generalmente sin descripción, porque Google la encontró a través de un enlace en lugar de rastrearla directamente.
La mayoría de los propietarios de sitios web asumen que robots.txt es una herramienta de privacidad. No lo es. Es una herramienta de gestión de tráfico para rastreadores, ubicada en yoursite.com/robots.txt, que se lee antes que casi cualquier otra cosa en la página.
Los motores de búsqueda consideran el archivo como una sugerencia importante, no como una barrera infranqueable. Los bots que funcionan correctamente, como Googlebot y Bingbot, lo siguen de cerca. Es común que los programas que lo ignoran por completo lo hagan, por lo que robots.txt nunca es una medida de seguridad.
- Gestiona el presupuesto de rastreo en sitios grandes.
- Mantiene a los bots alejados de las áreas de administración, las páginas de resultados de búsqueda y las URL de parámetros duplicados.
- Indica a los rastreadores la ubicación de tu mapa del sitio.
El 55,24% de las páginas web no tienen ningún enlace entrante que apunte a ellas, según Investigación de Ahrefsy una gran parte de esas páginas son precisamente el tipo de URL delgadas y con muchos parámetros que robots.txt pretende evitar en primer lugar.
Cómo Googlebot lee un archivo robots.txt
Googlebot obtiene el archivo robots.txt antes de rastrear un dominio y lo almacena en caché durante aproximadamente 24 horas. Lee las reglas de principio a fin y aplica la que coincide con la regla más específica, no la primera que encuentra. Una regla de "Permitir" más específica puede anular una regla de "Disallow" más general para el mismo bot.
Cada bloque de reglas comienza con una línea User-agent. Googlebot busca un bloque dirigido específicamente a "Googlebot" antes de recurrir al bloque comodín genérico dirigido a "*".
Por experiencia, he visto agencias implementar un nuevo archivo robots.txt en una migración de entorno de pruebas a producción y olvidar que la versión de pruebas tenía la directiva Disallow: / al principio. En cuestión de días, las sesiones orgánicas en las páginas de categorías principales del cliente cayeron drásticamente, y la única solución fue implementar un archivo corregido y solicitar un nuevo rastreo a través de Search Console.
Nuestro generador de archivos Robots.txt Evita precisamente este error al construir el archivo a partir de reglas seleccionables en lugar de texto libre, por lo que una barra diagonal accidental no puede eliminar el acceso de rastreo de todo un sitio.
Sintaxis de Robots.txt: Disallow, Allow y Sitemap
Las tres directivas principales son User-agent para dirigirse a un bot específico, Disallow para bloquear una ruta y Allow para permitir una ruta dentro de una carpeta bloqueada. Una línea de Sitemap que apunte a tu mapa del sitio XML es opcional, pero recomendable, ya que proporciona a los rastreadores una ruta directa a tus URL más importantes.
Un archivo de trabajo mínimo tiene este aspecto:
| Directiva | Objetivo | Ejemplo |
|---|---|---|
| Agente de usuario | Se dirige a un bot o a todos los bots. | Agente de usuario: * |
| Rechazar | Bloquea el paso para gatear | No permitir: /wp-admin/ |
| Permitir | Permite una ruta dentro de una carpeta bloqueada. | Permitir: /wp-admin/admin-ajax.php |
| Mapa del sitio | Apunta a tu archivo de mapa del sitio | Mapa del sitio: https://example.com/sitemap.xml |
Las rutas distinguen entre mayúsculas y minúsculas y coinciden desde el inicio de la ruta URL. La barra diagonal final es importante, ya que Disallow: /blog y Disallow: /blog/ se comportan de manera diferente en cuanto a la amplitud de la coincidencia.
Robots.txt vs Noindex: No son lo mismo
El archivo robots.txt impide que un rastreador solicite una página, mientras que la etiqueta meta noindex le permite visitarla, pero le indica que no la almacene en los resultados de búsqueda. Bloquear una página con robots.txt y añadirle la etiqueta noindex es contradictorio, ya que Google no puede leer la etiqueta noindex en una página que no tiene permitido rastrear.
Este es uno de los errores técnicos de SEO más comunes. Los propietarios de sitios web quieren que una página desaparezca de los resultados de búsqueda, así que la bloquean en robots.txt y luego se preguntan por qué sigue apareciendo semanas después sin ningún fragmento destacado.
Si el objetivo real es eliminarlo de los resultados de búsqueda, el orden correcto es: permitir el rastreo, agregar una etiqueta noindex, esperar a que Google vuelva a rastrear y procese la etiqueta, y luego, opcionalmente, bloquear la ruta una vez que haya desaparecido.
Nuestro conjunto completo de herramientas SEO Incluye comprobaciones que señalan las páginas con señales de robots y noindex conflictivas antes de que provoquen precisamente esta confusión.
Cuándo debes y cuándo no debes bloquear una página.
Bloquea las rutas que no aportan valor SEO y desperdician recursos de rastreo, como las páginas de resultados de búsqueda interna, las URL del carrito de compra y del proceso de pago, las URL de parámetros filtrados y las páginas de inicio de sesión de administrador. Evita bloquear los directorios de CSS, JS o imágenes que Google necesita para renderizar la página, ya que los problemas de renderizado afectan directamente a cómo se interpreta y clasifica el contenido.
Un error frecuente en los sitios de WordPress es bloquear completamente /wp-content/, lo que puede eliminar los archivos CSS y JS del tema que Google necesita para renderizar la página correctamente. Google ha dejado claro que renderiza las páginas de forma muy similar a como lo hace un navegador, y una página que no se renderiza correctamente puede ser juzgada erróneamente en cuanto a la calidad del contenido.
Los backlinks siguen siendo uno de los tres principales factores de clasificación de Google, y nada de esa autoridad de enlace importa si los problemas de rastreo impiden que tus mejores páginas se procesen correctamente desde el principio. Autoridad de dominio, una puntuación de 1 a 100 desarrollada por Moz para predecir la capacidad de posicionamiento., se basa en las mismas señales de backlink y rastreo, por lo que un archivo robots.txt descuidado puede frenar silenciosamente el crecimiento de la autoridad con el tiempo. Si está auditando el perfil de enlaces general de un sitio mientras limpia las directivas de rastreo, Nuestro verificador masivo de enlaces rotos Puede analizar el estado de sus enlaces entrantes y salientes en una misma pasada.
Cómo probar el archivo Robots.txt
Prueba los cambios con la herramienta de inspección de URL de Google Search Console, que muestra exactamente cómo Googlebot interpreta tu archivo robots.txt actual para cualquier URL. Siempre realiza pruebas antes y después de publicar los cambios, ya que un solo carácter mal colocado puede bloquear muchas más URL de las previstas.
Por experiencia, el método de implementación más seguro que utilizo con mis clientes de agencia consiste en preparar el nuevo archivo, probar entre cinco y diez URL representativas en todo el sitio mediante la inspección de URL, confirmar que la línea del mapa del sitio se resuelve correctamente y solo entonces publicarlo durante un período de bajo tráfico para que cualquier caída inesperada sea fácil de detectar y revertir rápidamente.
El 91% de las páginas web no reciben tráfico orgánico de Google, debido en gran parte a la falta de enlaces entrantes que apunten a ellas, según Datos de AhrefsUn archivo robots.txt defectuoso puede hacer que páginas que de otro modo serían sólidas terminen en esa misma categoría, simplemente impidiendo que Google las rastree.
Plantilla Robots.txt que puedes copiar
Una plantilla de inicio segura permite el acceso a todos los bots por defecto, bloquea únicamente las rutas de administración y búsqueda interna, e incluye el mapa del sitio. Esto mantiene el archivo corto, legible y con bajo riesgo para sitios sin problemas inusuales de presupuesto de rastreo.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Sustituye las rutas de administración y la URL del mapa del sitio por las tuyas, y luego verifícalo con Search Console antes de considerar que el trabajo está terminado.
Preguntas frecuentes
¿Elimina el archivo robots.txt las páginas de los resultados de búsqueda de Google?
No. Solo bloquea el rastreo. Una página bloqueada aún puede indexarse si Google la encuentra a través de enlaces externos, que generalmente aparecen sin descripción.
¿Dónde debe ubicarse el archivo robots.txt?
En la raíz del dominio, por ejemplo example.com/robots.txt. No funcionará si se coloca en una subcarpeta.
¿Puede el archivo robots.txt bloquear solo bots específicos?
Sí. Utilice un bloque User-agent dedicado que nombre el bot específico, como Googlebot o Bingbot, con sus propias reglas de exclusión separadas del bloque comodín.
¿Es robots.txt lo mismo que una regla de firewall?
No. Es una instrucción voluntaria que siguen los rastreadores web que se comportan correctamente. No proporciona seguridad real y nunca debe utilizarse para ocultar contenido sensible.
¿Con qué frecuencia revisa Google el archivo robots.txt?
Google suele almacenar en caché el archivo durante unas 24 horas, por lo que los cambios no son instantáneos, sino que normalmente se hacen efectivos en el plazo de un día.
Crea correctamente tu archivo Robots.txt desde el principio.
Si quieres evitar las conjeturas, Nuestro generador de archivos Robots.txt crea un archivo limpio y probado a partir de selecciones simples, y nuestra herramienta DA PA gratuita te ayuda a mantenerte al tanto de la autoridad mientras solucionas problemas de rastreo. Para un análisis técnico más profundo, nuestro consultor experto en SEO Las revisiones de servicio rastrean las directivas junto con el resto de su configuración técnica.
