WordPress genera automáticamente un archivo robots.txt virtual si nunca creas uno físico, y la mayoría de los propietarios de sitios web desconocen su contenido. Este archivo predeterminado suele ser suficiente para un blog pequeño, pero quienes utilizan WooCommerce, plugins de membresía o una gran biblioteca de contenido necesitan un mayor control que el que ofrece por defecto.
Dónde WordPress oculta su archivo robots.txt predeterminado.
WordPress genera un archivo robots.txt virtual en yoursite.com/robots.txt incluso sin un archivo físico en el directorio raíz. Esta versión predeterminada suele bloquear /wp-admin/ pero permite el acceso a admin-ajax.php, y desaparece en el momento en que subes un archivo robots.txt real para reemplazarla.
Puedes comprobar esta configuración predeterminada accediendo directamente al archivo robots.txt de tu sitio web en un navegador. Si nunca lo has modificado, lo que ves es la versión integrada del núcleo de WordPress, no algo configurado por un plugin o un desarrollador.
Editar el archivo robots.txt mediante un plugin de SEO
La mayoría de los plugins SEO más importantes para WordPress, como Yoast SEO y Rank Math, incluyen un editor de robots.txt integrado en sus herramientas. Este es el método más sencillo para usuarios sin conocimientos técnicos, ya que no requiere subir archivos ni acceso FTP y guarda los cambios directamente desde el panel de control de WordPress.
El complemento escribe un archivo robots.txt físico en el servidor la primera vez que guardas los cambios a través de su editor, reemplazando permanentemente el archivo virtual predeterminado.
- Yoast SEO: Menú Herramientas, Editor de archivos
- Rank Math: Configuración general, Editar robots.txt
- SEO todo en uno: Herramientas, Editor de robots.txt
Edición manual del archivo Robots.txt mediante FTP
Conéctate a tu servidor con un cliente FTP, navega hasta la carpeta raíz donde se encuentra wp-config.php y edita el archivo robots.txt existente o crea un nuevo archivo de texto plano con ese mismo nombre. Este método funciona independientemente de los plugins instalados y te da control total sobre el contenido.
Por experiencia, esta es la ruta que sigo siempre que el editor de plugins SEO de un cliente presenta fallos o cuando necesito distribuir un archivo idéntico a varias instalaciones de WordPress a la vez durante una limpieza general de la agencia. La carga directa del archivo elimina cualquier problema específico del plugin.
Rutas específicas de WordPress que vale la pena bloquear
Además del bloqueo predeterminado /wp-admin/, los sitios de WordPress suelen beneficiarse al impedir las URL de resultados de búsqueda internos, los enlaces de respuesta a comentarios con parámetros de seguimiento y las variantes de feeds exclusivas para administradores. Ninguna de estas rutas aporta valor a la búsqueda, y bloquearlas ayuda a los rastreadores a dedicar más tiempo al contenido real.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Disallow: /search/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Evite bloquear la carpeta /wp-content/ por completo, ya que esa ruta contiene los archivos de recursos del tema y del plugin que Google necesita para renderizar las páginas correctamente.
Consideraciones sobre WooCommerce y los plugins de membresía
Las tiendas WooCommerce suelen beneficiarse al bloquear las rutas de carrito, pago y mi cuenta en robots.txt, ya que estas páginas son específicas del usuario y no aportan valor SEO. Los plugins de membresía y de pago a menudo generan URL similares vinculadas a la cuenta que conviene excluir de la misma manera.
El 91% de las páginas no reciben tráfico orgánico de Google, según Ahrefs, a menudo porque las páginas que compiten por ese tráfico son escasas, duplicadas o simplemente no son el tipo de contenido que la gente busca, que es precisamente la categoría en la que se incluyen las páginas del carrito de compra y de la cuenta.
Si administras una tienda WooCommerce y quieres comprobar el rendimiento de tus páginas de productos en cuanto a señales de autoridad a gran escala, Nuestro comprobador DA PA a granel Administra hasta 50 dominios o rutas en una sola pasada.
Prueba tus cambios sin dañar el sitio.
Después de guardar cualquier cambio en robots.txt en WordPress, pruebe el archivo en vivo visitando yoursite.com/robots.txt directamente en un navegador y luego ejecute algunas páginas clave a través de la herramienta de inspección de URL de Google Search Console para confirmar que no estén bloqueadas inesperadamente.
Por experiencia, los sitios de WordPress que más sufren las consecuencias son aquellos que utilizan migraciones automatizadas o herramientas de sincronización entre el entorno de prueba y el de producción, donde un archivo robots.txt editado para un entorno de desarrollo se traslada silenciosamente al entorno de producción sin que nadie lo revise en la lista de verificación de implementación.
Los backlinks siguen siendo uno de los tres principales factores de clasificación de Google, y un despliegue defectuoso del archivo robots.txt en un sitio de WordPress puede echar por tierra meses de trabajo de backlinks con un solo error al guardar. La autoridad de dominio, la puntuación de Moz de 1 a 100, se basa en gran medida en esas mismas señales de enlaces entrantes.Es una de las métricas más fáciles de observar para detectar señales de alerta temprana de un problema de rastreo. Siempre verifique antes de continuar.
Preguntas frecuentes
¿Necesito un plugin para robots.txt si ya uso Yoast o Rank Math?
No, ambos complementos incluyen un editor de robots.txt integrado, por lo que no es necesario un complemento dedicado aparte.
¿Eliminar mi archivo robots.txt personalizado restaurará la configuración predeterminada de WordPress?
Sí, al eliminar el archivo físico se restaura automáticamente la versión virtual predeterminada del núcleo de WordPress.
¿Debo bloquear /wp-includes/ en el archivo robots.txt de WordPress?
En general no, ya que el núcleo moderno de WordPress ya no necesita que esto esté bloqueado, y algunos recursos dentro de él pueden ser necesarios para la renderización.
¿Puedo tener reglas diferentes para el archivo robots.txt en un sitio de WordPress de prueba?
Sí, y deberías hacerlo, ya que los sitios de prueba suelen funcionar mejor si se bloquean completamente con `Disallow: /` hasta el lanzamiento, y luego se cambian al conjunto de reglas de producción.
¿Cómo puedo comprobar si mi archivo robots.txt de WordPress está realmente activo?
Visita yoursite.com/robots.txt directamente en cualquier navegador. Si aparecen tus reglas personalizadas en lugar de las predeterminadas de WordPress, el archivo está activo.
Crea un archivo Robots.txt más seguro para tu sitio WordPress.
Nuestro generador de archivos Robots.txt crea un archivo listo para WordPress a partir de selecciones simples, sin necesidad de FTP ni configuración de complementos. Para el seguimiento continuo de la autoridad en los sitios de los clientes, nuestra herramienta DA PA gratuita cubre hasta 50 dominios a la vez y nuestro consultor experto en SEO Si desea una segunda opinión, nuestro servicio puede auditar toda su configuración técnica.
