O ficheiro robots.txt parece t\u00e3o simples que a maioria das pessoas nunca o testa depois de o escrever. Esta confian\u00e7a excessiva \u00e9 exatamente o motivo pelo qual causa tantos problemas. Um \u00fanico caractere incorreto pode bloquear silenciosamente uma pasta cheia de p\u00e1ginas e, como n\u00e3o h\u00e1 mensagem de erro, ningu\u00e9m se apercebe at\u00e9 que as classifica\u00e7\u00f5es comecem a cair.<\/p>\n
O erro mais prejudicial no ficheiro robots.txt \u00e9 deixar a linha `Disallow: \/` no ficheiro de produ\u00e7\u00e3o, o que bloqueia todos os URLs do dom\u00ednio para todos os rastreadores. Isto acontece com mais frequ\u00eancia quando o ficheiro robots.txt de um ambiente de teste \u00e9 copiado para o ambiente de produ\u00e7\u00e3o sem revis\u00e3o durante uma migra\u00e7\u00e3o ou relan\u00e7amento do website.<\/p>\n
Pela minha experi\u00eancia, esta \u00e9 a emerg\u00eancia mais comum para a qual sou chamado. Um programador termina uma reformula\u00e7\u00e3o, o ficheiro robots.txt de teste com um bloqueio gen\u00e9rico (\"Disallow\") \u00e9 publicado juntamente com tudo o resto, e duas ou tr\u00eas semanas depois o tr\u00e1fego org\u00e2nico cai a pique sem motivo aparente at\u00e9 que algu\u00e9m finalmente verifica o pr\u00f3prio ficheiro.<\/p>\n
A corre\u00e7\u00e3o \u00e9 r\u00e1pida assim que o problema \u00e9 detetado, mas a recupera\u00e7\u00e3o n\u00e3o \u00e9 instant\u00e2nea. O Google precisa de rastrear e processar novamente os URLs afetados, o que pode demorar dias a semanas, dependendo do tamanho do website.<\/p>\n
O bloqueio de pastas como \/wp-content\/themes\/ ou \/assets\/js\/ impede o Googlebot de carregar os estilos e scripts necess\u00e1rios para renderizar a p\u00e1gina corretamente. O Google avalia as p\u00e1ginas renderizadas, pelo que uma p\u00e1gina que carrega com problemas ou incompleta pode ser mal avaliada quanto \u00e0 qualidade do layout e do conte\u00fado durante a indexa\u00e7\u00e3o.<\/p>\n
Isto geralmente decorre de uma lista de verifica\u00e7\u00e3o de seguran\u00e7a antiga que recomendava o bloqueio de pastas \"do sistema\" sem distinguir entre caminhos de backend sens\u00edveis e as pastas de recursos p\u00fablicas que um tema realmente precisa de exibir corretamente.<\/p>\n
O ficheiro robots.txt \u00e9 p\u00fablico e qualquer pessoa pode visualiz\u00e1-lo acedendo a seudominio.com\/robots.txt. Portanto, listar caminhos sens\u00edveis a\u00ed, na verdade, revela a localiza\u00e7\u00e3o do site. Al\u00e9m disso, isto n\u00e3o impede a indexa\u00e7\u00e3o caso outro site aponte para esse caminho, uma vez que o Google pode ainda indexar um URL que nunca tenha rastreado.<\/p>\n
Se um caminho precisa realmente de ficar fora dos resultados de pesquisa, a prote\u00e7\u00e3o por palavra-passe ou uma etiqueta noindex numa p\u00e1gina acess\u00edvel \u00e9 a abordagem correta, e n\u00e3o uma linha \"Disallow\" que simplesmente informa os visitantes curiosos exatamente onde procurar.<\/p>\n
De acordo com [fonte n\u00e3o especificada], 55,24% das p\u00e1ginas web n\u00e3o t\u00eam qualquer backlink a apontar para elas. Ahrefs<\/a>Isto significa que a maioria das p\u00e1ginas nem sequer enfrenta o problema da indexa\u00e7\u00e3o atrav\u00e9s de links externos. As p\u00e1ginas que recebem links s\u00e3o geralmente aquelas que os propriet\u00e1rios dos sites mais desejam proteger, o que torna a depend\u00eancia do robots.txt para a privacidade particularmente arriscada.<\/p>\n Omitir a diretiva Sitemap n\u00e3o \u00e9 catastr\u00f3fico, uma vez que os sitemaps tamb\u00e9m podem ser enviados diretamente atrav\u00e9s do Search Console, mas inclu\u00ed-la torna o ficheiro mais completo e fornece a qualquer rastreador um caminho direto para os seus URLs mais importantes, sem depender de um envio separado.<\/p>\n Custa uma linha e demora alguns segundos, pelo que n\u00e3o h\u00e1 muita raz\u00e3o para a ignorar num site configurado corretamente.<\/p>\n Quando v\u00e1rias regras de \"Permitir\" e \"N\u00e3o Permitir\" se sobrep\u00f5em no mesmo caminho, o Googlebot aplica a regra mais espec\u00edfica em vez da primeira listada. Longas listas de regras sobrepostas, escritas por pessoas diferentes ao longo do tempo, contradizem-se frequentemente de formas que s\u00f3 s\u00e3o percebidas quando o tr\u00e1fego cai numa sec\u00e7\u00e3o espec\u00edfica.<\/p>\n Por experi\u00eancia pr\u00f3pria, a solu\u00e7\u00e3o mais eficaz para um ficheiro legado complexo \u00e9 come\u00e7ar com um conjunto de regras curto e bem definido, em vez de tentar remendar anos de linhas acumuladas, especialmente em sites que mudaram de CMS ou de ag\u00eancia mais do que uma vez.<\/p>\n Os backlinks continuam a ser um dos tr\u00eas principais fatores de classifica\u00e7\u00e3o do Google, por isso, conv\u00e9m lembrar que os erros de rastreio causados \u200b\u200bpor regras conflituantes podem suprimir precisamente as p\u00e1ginas que o seu trabalho de link building visa suportar.<\/p>\n A forma mais r\u00e1pida de detetar um erro no robots.txt \u00e9 testar URLs representativos na ferramenta de Inspe\u00e7\u00e3o de URLs do Google Search Console antes e depois de publicar um novo ficheiro. Este simples h\u00e1bito evita quase todos os desastres acima descritos, uma vez que a ferramenta mostra exatamente como a Google interpreta o ficheiro em tempo real.<\/p>\n A pontua\u00e7\u00e3o de spam acima dos 30% \u00e9 considerada de alto risco pela Moz.<\/a> Por uma raz\u00e3o completamente diferente, a qualidade dos links, mas a mesma disciplina aplica-se ao robots.txt: verifique antes de presumir, n\u00e3o espere uma queda para descobrir que algo correu mal.<\/p>\n Abra o Search Console, utilize a URL Inspection nas p\u00e1ginas importantes e verifique se a ferramenta reporta a p\u00e1gina como bloqueada pelo robots.txt.<\/p>\n N\u00e3o instantaneamente, mas uma proibi\u00e7\u00e3o geral pode impedir a indexa\u00e7\u00e3o, e as p\u00e1ginas saem naturalmente do \u00edndice com o tempo, \u00e0 medida que o Google deixa de as revisitar.<\/p>\n Depende se acrescentam valor \u00fanico ou criam conte\u00fado duplicado superficial. Muitos sites beneficiam mais do uso do noindex nestes casos do que do bloqueio total do rastreio.<\/p>\n O Google consegue indexar um URL descoberto atrav\u00e9s de um link externo mesmo sem o rastrear, e \u00e9 por isso que as p\u00e1ginas bloqueadas por vezes ainda aparecem sem descri\u00e7\u00e3o.<\/p>\n O pr\u00f3prio ficheiro \u00e9 atualizado em cerca de um dia, \u00e0 medida que o Google o recarrega, mas a recupera\u00e7\u00e3o completa do posicionamento nos resultados de pesquisa depende do tempo durante o qual o erro permaneceu ativo e do tamanho da sec\u00e7\u00e3o afetada.<\/p>\n O nosso gerador de ficheiros Robots.txt<\/a> Constr\u00f3i um conjunto de regras limpo a partir de sele\u00e7\u00f5es em vez de texto livre, eliminando completamente o risco de erros de digita\u00e7\u00e3o. Combine-o com o nosso verificador DA PA em massa<\/a> Para monitorizar a autoridade enquanto corrige problemas de rastreio e verificar o nosso blog de SEO<\/a> Para an\u00e1lises mais t\u00e9cnicas de SEO como esta.Esquecer a linha do mapa do site<\/h2>\n
Regras conflituantes em v\u00e1rias linhas de proibi\u00e7\u00e3o<\/h2>\n
N\u00e3o testar antes de publicar<\/h2>\n
Perguntas frequentes<\/h2>\n
Como posso saber se o meu ficheiro robots.txt est\u00e1 a bloquear algo importante?<\/h3>\n
Um erro no ficheiro robots.txt pode fazer com que todo o meu site seja desindexado?<\/h3>\n
Devo bloquear p\u00e1ginas de tags e categorias no WordPress?<\/h3>\n
Porque \u00e9 que a minha p\u00e1gina ainda aparece no Google se est\u00e1 bloqueada no robots.txt?<\/h3>\n
Com que rapidez posso corrigir um erro no ficheiro robots.txt depois de o encontrar?<\/h3>\n
Audite os seus ficheiros antes que isso lhe custe tr\u00e1fego.<\/h2>\n
\n