{"id":2450,"date":"2026-07-09T19:06:33","date_gmt":"2026-07-09T19:06:33","guid":{"rendered":"https:\/\/bulkdapa.site\/?p=2450"},"modified":"2026-07-09T19:06:33","modified_gmt":"2026-07-09T19:06:33","slug":"robots-txt-guide-google-crawling","status":"publish","type":"post","link":"https:\/\/bulkdapa.site\/es\/robots-txt-guide-google-crawling\/","title":{"rendered":"Robots.txt: La gu\u00eda completa para controlar el rastreo de Google en 2026"},"content":{"rendered":"<p>Un archivo robots.txt es una hoja de reglas en texto plano que se ubica en la ra\u00edz de tu dominio e indica a los rastreadores como Googlebot qu\u00e9 rutas pueden solicitar. No elimina p\u00e1ginas del \u00edndice de Google por s\u00ed solo, solo gestiona el rastreo. Si la sintaxis es incorrecta, puedes bloquear silenciosamente CSS, JavaScript o secciones completas de un sitio sin previo aviso hasta que el posicionamiento baje.<\/p>\n<h2>Qu\u00e9 controla realmente Robots.txt<\/h2>\n<p>El archivo robots.txt controla el rastreo, no la indexaci\u00f3n. Indica a los bots de los motores de b\u00fasqueda qu\u00e9 URL pueden solicitar desde tu servidor. Una p\u00e1gina puede aparecer en el \u00edndice de Google aunque est\u00e9 bloqueada en robots.txt, generalmente sin descripci\u00f3n, porque Google la encontr\u00f3 a trav\u00e9s de un enlace en lugar de rastrearla directamente.<\/p>\n<p>La mayor\u00eda de los propietarios de sitios web asumen que robots.txt es una herramienta de privacidad. No lo es. Es una herramienta de gesti\u00f3n de tr\u00e1fico para rastreadores, ubicada en yoursite.com\/robots.txt, que se lee antes que casi cualquier otra cosa en la p\u00e1gina.<\/p>\n<p>Los motores de b\u00fasqueda consideran el archivo como una sugerencia importante, no como una barrera infranqueable. Los bots que funcionan correctamente, como Googlebot y Bingbot, lo siguen de cerca. Es com\u00fan que los programas que lo ignoran por completo lo hagan, por lo que robots.txt nunca es una medida de seguridad.<\/p>\n<ul>\n<li>Gestiona el presupuesto de rastreo en sitios grandes.<\/li>\n<li>Mantiene a los bots alejados de las \u00e1reas de administraci\u00f3n, las p\u00e1ginas de resultados de b\u00fasqueda y las URL de par\u00e1metros duplicados.<\/li>\n<li>Indica a los rastreadores la ubicaci\u00f3n de tu mapa del sitio.<\/li>\n<\/ul>\n<p>El 55,24% de las p\u00e1ginas web no tienen ning\u00fan enlace entrante que apunte a ellas, seg\u00fan <a href=\"https:\/\/ahrefs.com\/blog\/\" target=\"_blank\" rel=\"noopener\">Investigaci\u00f3n de Ahrefs<\/a>y una gran parte de esas p\u00e1ginas son precisamente el tipo de URL delgadas y con muchos par\u00e1metros que robots.txt pretende evitar en primer lugar.<\/p>\n<h2>C\u00f3mo Googlebot lee un archivo robots.txt<\/h2>\n<p>Googlebot obtiene el archivo robots.txt antes de rastrear un dominio y lo almacena en cach\u00e9 durante aproximadamente 24 horas. Lee las reglas de principio a fin y aplica la que coincide con la regla m\u00e1s espec\u00edfica, no la primera que encuentra. Una regla de \"Permitir\" m\u00e1s espec\u00edfica puede anular una regla de \"Disallow\" m\u00e1s general para el mismo bot.<\/p>\n<p>Cada bloque de reglas comienza con una l\u00ednea User-agent. Googlebot busca un bloque dirigido espec\u00edficamente a \"Googlebot\" antes de recurrir al bloque comod\u00edn gen\u00e9rico dirigido a \"*\".<\/p>\n<p>Por experiencia, he visto agencias implementar un nuevo archivo robots.txt en una migraci\u00f3n de entorno de pruebas a producci\u00f3n y olvidar que la versi\u00f3n de pruebas ten\u00eda la directiva Disallow: \/ al principio. En cuesti\u00f3n de d\u00edas, las sesiones org\u00e1nicas en las p\u00e1ginas de categor\u00edas principales del cliente cayeron dr\u00e1sticamente, y la \u00fanica soluci\u00f3n fue implementar un archivo corregido y solicitar un nuevo rastreo a trav\u00e9s de Search Console.<\/p>\n<p><a href=\"https:\/\/bulkdapa.site\/es\/robots-txt-file-generator\/\">Nuestro generador de archivos Robots.txt<\/a> Evita precisamente este error al construir el archivo a partir de reglas seleccionables en lugar de texto libre, por lo que una barra diagonal accidental no puede eliminar el acceso de rastreo de todo un sitio.<\/p>\n<h2>Sintaxis de Robots.txt: Disallow, Allow y Sitemap<\/h2>\n<p>Las tres directivas principales son User-agent para dirigirse a un bot espec\u00edfico, Disallow para bloquear una ruta y Allow para permitir una ruta dentro de una carpeta bloqueada. Una l\u00ednea de Sitemap que apunte a tu mapa del sitio XML es opcional, pero recomendable, ya que proporciona a los rastreadores una ruta directa a tus URL m\u00e1s importantes.<\/p>\n<p>Un archivo de trabajo m\u00ednimo tiene este aspecto:<\/p>\n<table>\n<thead>\n<tr>\n<th>Directiva<\/th>\n<th>Objetivo<\/th>\n<th>Ejemplo<\/th>\n<\/tr>\n<\/thead>\n<tbody>\n<tr>\n<td>Agente de usuario<\/td>\n<td>Se dirige a un bot o a todos los bots.<\/td>\n<td>Agente de usuario: *<\/td>\n<\/tr>\n<tr>\n<td>Rechazar<\/td>\n<td>Bloquea el paso para gatear<\/td>\n<td>No permitir: \/wp-admin\/<\/td>\n<\/tr>\n<tr>\n<td>Permitir<\/td>\n<td>Permite una ruta dentro de una carpeta bloqueada.<\/td>\n<td>Permitir: \/wp-admin\/admin-ajax.php<\/td>\n<\/tr>\n<tr>\n<td>Mapa del sitio<\/td>\n<td>Apunta a tu archivo de mapa del sitio<\/td>\n<td>Mapa del sitio: https:\/\/example.com\/sitemap.xml<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\n<p>Las rutas distinguen entre may\u00fasculas y min\u00fasculas y coinciden desde el inicio de la ruta URL. La barra diagonal final es importante, ya que Disallow: \/blog y Disallow: \/blog\/ se comportan de manera diferente en cuanto a la amplitud de la coincidencia.<\/p>\n<h2>Robots.txt vs Noindex: No son lo mismo<\/h2>\n<p>El archivo robots.txt impide que un rastreador solicite una p\u00e1gina, mientras que la etiqueta meta noindex le permite visitarla, pero le indica que no la almacene en los resultados de b\u00fasqueda. Bloquear una p\u00e1gina con robots.txt y a\u00f1adirle la etiqueta noindex es contradictorio, ya que Google no puede leer la etiqueta noindex en una p\u00e1gina que no tiene permitido rastrear.<\/p>\n<p>Este es uno de los errores t\u00e9cnicos de SEO m\u00e1s comunes. Los propietarios de sitios web quieren que una p\u00e1gina desaparezca de los resultados de b\u00fasqueda, as\u00ed que la bloquean en robots.txt y luego se preguntan por qu\u00e9 sigue apareciendo semanas despu\u00e9s sin ning\u00fan fragmento destacado.<\/p>\n<p>Si el objetivo real es eliminarlo de los resultados de b\u00fasqueda, el orden correcto es: permitir el rastreo, agregar una etiqueta noindex, esperar a que Google vuelva a rastrear y procese la etiqueta, y luego, opcionalmente, bloquear la ruta una vez que haya desaparecido.<\/p>\n<p><a href=\"https:\/\/bulkdapa.site\/es\/seo-tools\/\" target=\"_self\">Nuestro conjunto completo de herramientas SEO<\/a> Incluye comprobaciones que se\u00f1alan las p\u00e1ginas con se\u00f1ales de robots y noindex conflictivas antes de que provoquen precisamente esta confusi\u00f3n.<\/p>\n<h2>Cu\u00e1ndo debes y cu\u00e1ndo no debes bloquear una p\u00e1gina.<\/h2>\n<p>Bloquea las rutas que no aportan valor SEO y desperdician recursos de rastreo, como las p\u00e1ginas de resultados de b\u00fasqueda interna, las URL del carrito de compra y del proceso de pago, las URL de par\u00e1metros filtrados y las p\u00e1ginas de inicio de sesi\u00f3n de administrador. Evita bloquear los directorios de CSS, JS o im\u00e1genes que Google necesita para renderizar la p\u00e1gina, ya que los problemas de renderizado afectan directamente a c\u00f3mo se interpreta y clasifica el contenido.<\/p>\n<p>Un error frecuente en los sitios de WordPress es bloquear completamente \/wp-content\/, lo que puede eliminar los archivos CSS y JS del tema que Google necesita para renderizar la p\u00e1gina correctamente. Google ha dejado claro que renderiza las p\u00e1ginas de forma muy similar a como lo hace un navegador, y una p\u00e1gina que no se renderiza correctamente puede ser juzgada err\u00f3neamente en cuanto a la calidad del contenido.<\/p>\n<p>Los backlinks siguen siendo uno de los tres principales factores de clasificaci\u00f3n de Google, y nada de esa autoridad de enlace importa si los problemas de rastreo impiden que tus mejores p\u00e1ginas se procesen correctamente desde el principio. <a href=\"https:\/\/moz.com\/learn\/seo\/domain-authority\" target=\"_blank\" rel=\"noopener\">Autoridad de dominio, una puntuaci\u00f3n de 1 a 100 desarrollada por Moz para predecir la capacidad de posicionamiento.<\/a>, se basa en las mismas se\u00f1ales de backlink y rastreo, por lo que un archivo robots.txt descuidado puede frenar silenciosamente el crecimiento de la autoridad con el tiempo. Si est\u00e1 auditando el perfil de enlaces general de un sitio mientras limpia las directivas de rastreo, <a href=\"https:\/\/bulkdapa.site\/es\/bulk-broken-link-checker\/\">Nuestro verificador masivo de enlaces rotos<\/a> Puede analizar el estado de sus enlaces entrantes y salientes en una misma pasada.<\/p>\n<h2>C\u00f3mo probar el archivo Robots.txt<\/h2>\n<p>Prueba los cambios con la herramienta de inspecci\u00f3n de URL de Google Search Console, que muestra exactamente c\u00f3mo Googlebot interpreta tu archivo robots.txt actual para cualquier URL. Siempre realiza pruebas antes y despu\u00e9s de publicar los cambios, ya que un solo car\u00e1cter mal colocado puede bloquear muchas m\u00e1s URL de las previstas.<\/p>\n<p>Por experiencia, el m\u00e9todo de implementaci\u00f3n m\u00e1s seguro que utilizo con mis clientes de agencia consiste en preparar el nuevo archivo, probar entre cinco y diez URL representativas en todo el sitio mediante la inspecci\u00f3n de URL, confirmar que la l\u00ednea del mapa del sitio se resuelve correctamente y solo entonces publicarlo durante un per\u00edodo de bajo tr\u00e1fico para que cualquier ca\u00edda inesperada sea f\u00e1cil de detectar y revertir r\u00e1pidamente.<\/p>\n<p>El 91% de las p\u00e1ginas web no reciben tr\u00e1fico org\u00e1nico de Google, debido en gran parte a la falta de enlaces entrantes que apunten a ellas, seg\u00fan <a href=\"https:\/\/ahrefs.com\/blog\/\" target=\"_blank\" rel=\"noopener\">Datos de Ahrefs<\/a>Un archivo robots.txt defectuoso puede hacer que p\u00e1ginas que de otro modo ser\u00edan s\u00f3lidas terminen en esa misma categor\u00eda, simplemente impidiendo que Google las rastree.<\/p>\n<h2>Plantilla Robots.txt que puedes copiar<\/h2>\n<p>Una plantilla de inicio segura permite el acceso a todos los bots por defecto, bloquea \u00fanicamente las rutas de administraci\u00f3n y b\u00fasqueda interna, e incluye el mapa del sitio. Esto mantiene el archivo corto, legible y con bajo riesgo para sitios sin problemas inusuales de presupuesto de rastreo.<\/p>\n<pre>User-agent: *\r\nDisallow: \/wp-admin\/\r\nDisallow: \/?s=\r\nAllow: \/wp-admin\/admin-ajax.php\r\nSitemap: https:\/\/example.com\/sitemap_index.xml<\/pre>\n<p>Sustituye las rutas de administraci\u00f3n y la URL del mapa del sitio por las tuyas, y luego verif\u00edcalo con Search Console antes de considerar que el trabajo est\u00e1 terminado.<\/p>\n<h2>Preguntas frecuentes<\/h2>\n<h3>\u00bfElimina el archivo robots.txt las p\u00e1ginas de los resultados de b\u00fasqueda de Google?<\/h3>\n<p>No. Solo bloquea el rastreo. Una p\u00e1gina bloqueada a\u00fan puede indexarse \u200b\u200bsi Google la encuentra a trav\u00e9s de enlaces externos, que generalmente aparecen sin descripci\u00f3n.<\/p>\n<h3>\u00bfD\u00f3nde debe ubicarse el archivo robots.txt?<\/h3>\n<p>En la ra\u00edz del dominio, por ejemplo example.com\/robots.txt. No funcionar\u00e1 si se coloca en una subcarpeta.<\/p>\n<h3>\u00bfPuede el archivo robots.txt bloquear solo bots espec\u00edficos?<\/h3>\n<p>S\u00ed. Utilice un bloque User-agent dedicado que nombre el bot espec\u00edfico, como Googlebot o Bingbot, con sus propias reglas de exclusi\u00f3n separadas del bloque comod\u00edn.<\/p>\n<h3>\u00bfEs robots.txt lo mismo que una regla de firewall?<\/h3>\n<p>No. Es una instrucci\u00f3n voluntaria que siguen los rastreadores web que se comportan correctamente. No proporciona seguridad real y nunca debe utilizarse para ocultar contenido sensible.<\/p>\n<h3>\u00bfCon qu\u00e9 frecuencia revisa Google el archivo robots.txt?<\/h3>\n<p>Google suele almacenar en cach\u00e9 el archivo durante unas 24 horas, por lo que los cambios no son instant\u00e1neos, sino que normalmente se hacen efectivos en el plazo de un d\u00eda.<\/p>\n<h2>Crea correctamente tu archivo Robots.txt desde el principio.<\/h2>\n<p>Si quieres evitar las conjeturas, <a href=\"https:\/\/bulkdapa.site\/es\/robots-txt-file-generator\/\">Nuestro generador de archivos Robots.txt<\/a> crea un archivo limpio y probado a partir de selecciones simples, y <a href=\"https:\/\/bulkdapa.site\/es\/\">nuestra herramienta DA PA gratuita<\/a> te ayuda a mantenerte al tanto de la autoridad mientras solucionas problemas de rastreo. Para un an\u00e1lisis t\u00e9cnico m\u00e1s profundo, <a href=\"https:\/\/bulkdapa.site\/es\/expert-seo-consultant-services\/\">nuestro consultor experto en SEO<\/a> Las revisiones de servicio rastrean las directivas junto con el resto de su configuraci\u00f3n t\u00e9cnica.<br \/>\n<script type=\"application\/ld+json\">{\n    \"@context\": \"https:\\\/\\\/schema.org\",\n    \"@type\": \"FAQPage\",\n    \"mainEntity\": [\n        {\n            \"@type\": \"Question\",\n            \"name\": \"Does robots.txt remove pages from Google search results?\",\n            \"acceptedAnswer\": {\n                \"@type\": \"Answer\",\n                \"text\": \"No. A robots.txt file only blocks crawling and does not prevent indexing. A blocked page can still appear in Google Search if Google discovers it through external links or other sources, often showing the URL without a description.\"\n            }\n        },\n        {\n            \"@type\": \"Question\",\n            \"name\": \"Where does the robots.txt file need to live?\",\n            \"acceptedAnswer\": {\n                \"@type\": \"Answer\",\n                \"text\": \"The robots.txt file must be placed in the root directory of your domain, such as https:\\\/\\\/example.com\\\/robots.txt. It will not work correctly if it is placed inside a subfolder.\"\n            }\n        },\n        {\n            \"@type\": \"Question\",\n            \"name\": \"Can robots.txt block specific bots only?\",\n            \"acceptedAnswer\": {\n                \"@type\": \"Answer\",\n                \"text\": \"Yes. You can create dedicated User-agent directives for specific crawlers, such as Googlebot or Bingbot, and assign separate Disallow rules to each one.\"\n            }\n        },\n        {\n            \"@type\": \"Question\",\n            \"name\": \"Is robots.txt the same as a firewall rule?\",\n            \"acceptedAnswer\": {\n                \"@type\": \"Answer\",\n                \"text\": \"No. A robots.txt file is a voluntary instruction that compliant search engine crawlers may follow. It does not provide security and should never be used to protect sensitive or private content.\"\n            }\n        },\n        {\n            \"@type\": \"Question\",\n            \"name\": \"How often does Google recheck robots.txt?\",\n            \"acceptedAnswer\": {\n                \"@type\": \"Answer\",\n                \"text\": \"Google generally caches the robots.txt file for about 24 hours. Changes are not applied instantly but typically take effect within a day.\"\n            }\n        }\n    ]\n}<\/script><\/p>","protected":false},"excerpt":{"rendered":"<p>A robots.txt file is a plain text rule sheet that sits at the root of your domain and tells crawlers [&hellip;]<\/p>","protected":false},"author":2,"featured_media":2613,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"default","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"set","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[43],"tags":[75,74,73],"class_list":["post-2450","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-technical-seo","tag-crawling","tag-robots-txt","tag-technical-seo"],"acf":[],"_links":{"self":[{"href":"https:\/\/bulkdapa.site\/es\/wp-json\/wp\/v2\/posts\/2450","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/bulkdapa.site\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/bulkdapa.site\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/bulkdapa.site\/es\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/bulkdapa.site\/es\/wp-json\/wp\/v2\/comments?post=2450"}],"version-history":[{"count":3,"href":"https:\/\/bulkdapa.site\/es\/wp-json\/wp\/v2\/posts\/2450\/revisions"}],"predecessor-version":[{"id":2612,"href":"https:\/\/bulkdapa.site\/es\/wp-json\/wp\/v2\/posts\/2450\/revisions\/2612"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/bulkdapa.site\/es\/wp-json\/wp\/v2\/media\/2613"}],"wp:attachment":[{"href":"https:\/\/bulkdapa.site\/es\/wp-json\/wp\/v2\/media?parent=2450"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/bulkdapa.site\/es\/wp-json\/wp\/v2\/categories?post=2450"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/bulkdapa.site\/es\/wp-json\/wp\/v2\/tags?post=2450"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}