O ficheiro robots.txt parece tão simples que a maioria das pessoas nunca o testa depois de o escrever. Esta confiança excessiva é exatamente o motivo pelo qual causa tantos problemas. Um único caractere incorreto pode bloquear silenciosamente uma pasta cheia de páginas e, como não há mensagem de erro, ninguém se apercebe até que as classificações comecem a cair.
Bloquear um site inteiro por acidente
O erro mais prejudicial no ficheiro robots.txt é deixar a linha `Disallow: /` no ficheiro de produção, o que bloqueia todos os URLs do domínio para todos os rastreadores. Isto acontece com mais frequência quando o ficheiro robots.txt de um ambiente de teste é copiado para o ambiente de produção sem revisão durante uma migração ou relançamento do website.
Pela minha experiência, esta é a emergência mais comum para a qual sou chamado. Um programador termina uma reformulação, o ficheiro robots.txt de teste com um bloqueio genérico ("Disallow") é publicado juntamente com tudo o resto, e duas ou três semanas depois o tráfego orgânico cai a pique sem motivo aparente até que alguém finalmente verifica o próprio ficheiro.
A correção é rápida assim que o problema é detetado, mas a recuperação não é instantânea. O Google precisa de rastrear e processar novamente os URLs afetados, o que pode demorar dias a semanas, dependendo do tamanho do website.
Bloquear ficheiros CSS e JavaScript
O bloqueio de pastas como /wp-content/themes/ ou /assets/js/ impede o Googlebot de carregar os estilos e scripts necessários para renderizar a página corretamente. O Google avalia as páginas renderizadas, pelo que uma página que carrega com problemas ou incompleta pode ser mal avaliada quanto à qualidade do layout e do conteúdo durante a indexação.
Isto geralmente decorre de uma lista de verificação de segurança antiga que recomendava o bloqueio de pastas "do sistema" sem distinguir entre caminhos de backend sensíveis e as pastas de recursos públicas que um tema realmente precisa de exibir corretamente.
- Verifique se /wp-content/themes/ e /wp-content/plugins/ não estão bloqueados de forma ampla.
- Permita explicitamente extensões de ficheiros comuns, como . css e . js, se uma pasta pai estiver bloqueada.
- Utilize a Inspeção de URL no Search Console para confirmar se a captura de ecrã renderizada está correta.
Utilizando o ficheiro robots.txt para tentar ocultar páginas sensíveis.
O ficheiro robots.txt é público e qualquer pessoa pode visualizá-lo acedendo a seudominio.com/robots.txt. Portanto, listar caminhos sensíveis aí, na verdade, revela a localização do site. Além disso, isto não impede a indexação caso outro site aponte para esse caminho, uma vez que o Google pode ainda indexar um URL que nunca tenha rastreado.
Se um caminho precisa realmente de ficar fora dos resultados de pesquisa, a proteção por palavra-passe ou uma etiqueta noindex numa página acessível é a abordagem correta, e não uma linha "Disallow" que simplesmente informa os visitantes curiosos exatamente onde procurar.
De acordo com [fonte não especificada], 55,24% das páginas web não têm qualquer backlink a apontar para elas. AhrefsIsto significa que a maioria das páginas nem sequer enfrenta o problema da indexação através de links externos. As páginas que recebem links são geralmente aquelas que os proprietários dos sites mais desejam proteger, o que torna a dependência do robots.txt para a privacidade particularmente arriscada.
Esquecer a linha do mapa do site
Omitir a diretiva Sitemap não é catastrófico, uma vez que os sitemaps também podem ser enviados diretamente através do Search Console, mas incluí-la torna o ficheiro mais completo e fornece a qualquer rastreador um caminho direto para os seus URLs mais importantes, sem depender de um envio separado.
Custa uma linha e demora alguns segundos, pelo que não há muita razão para a ignorar num site configurado corretamente.
Regras conflituantes em várias linhas de proibição
Quando várias regras de "Permitir" e "Não Permitir" se sobrepõem no mesmo caminho, o Googlebot aplica a regra mais específica em vez da primeira listada. Longas listas de regras sobrepostas, escritas por pessoas diferentes ao longo do tempo, contradizem-se frequentemente de formas que só são percebidas quando o tráfego cai numa secção específica.
Por experiência própria, a solução mais eficaz para um ficheiro legado complexo é começar com um conjunto de regras curto e bem definido, em vez de tentar remendar anos de linhas acumuladas, especialmente em sites que mudaram de CMS ou de agência mais do que uma vez.
Os backlinks continuam a ser um dos três principais fatores de classificação do Google, por isso, convém lembrar que os erros de rastreio causados por regras conflituantes podem suprimir precisamente as páginas que o seu trabalho de link building visa suportar.
Não testar antes de publicar
A forma mais rápida de detetar um erro no robots.txt é testar URLs representativos na ferramenta de Inspeção de URLs do Google Search Console antes e depois de publicar um novo ficheiro. Este simples hábito evita quase todos os desastres acima descritos, uma vez que a ferramenta mostra exatamente como a Google interpreta o ficheiro em tempo real.
A pontuação de spam acima dos 30% é considerada de alto risco pela Moz. Por uma razão completamente diferente, a qualidade dos links, mas a mesma disciplina aplica-se ao robots.txt: verifique antes de presumir, não espere uma queda para descobrir que algo correu mal.
Perguntas frequentes
Como posso saber se o meu ficheiro robots.txt está a bloquear algo importante?
Abra o Search Console, utilize a URL Inspection nas páginas importantes e verifique se a ferramenta reporta a página como bloqueada pelo robots.txt.
Um erro no ficheiro robots.txt pode fazer com que todo o meu site seja desindexado?
Não instantaneamente, mas uma proibição geral pode impedir a indexação, e as páginas saem naturalmente do índice com o tempo, à medida que o Google deixa de as revisitar.
Devo bloquear páginas de tags e categorias no WordPress?
Depende se acrescentam valor único ou criam conteúdo duplicado superficial. Muitos sites beneficiam mais do uso do noindex nestes casos do que do bloqueio total do rastreio.
Porque é que a minha página ainda aparece no Google se está bloqueada no robots.txt?
O Google consegue indexar um URL descoberto através de um link externo mesmo sem o rastrear, e é por isso que as páginas bloqueadas por vezes ainda aparecem sem descrição.
Com que rapidez posso corrigir um erro no ficheiro robots.txt depois de o encontrar?
O próprio ficheiro é atualizado em cerca de um dia, à medida que o Google o recarrega, mas a recuperação completa do posicionamento nos resultados de pesquisa depende do tempo durante o qual o erro permaneceu ativo e do tamanho da secção afetada.
Audite os seus ficheiros antes que isso lhe custe tráfego.
O nosso gerador de ficheiros Robots.txt Constrói um conjunto de regras limpo a partir de seleções em vez de texto livre, eliminando completamente o risco de erros de digitação. Combine-o com o nosso verificador DA PA em massa Para monitorizar a autoridade enquanto corrige problemas de rastreio e verificar o nosso blog de SEO Para análises mais técnicas de SEO como esta.
