Um ficheiro robots.txt é um guia de regras em texto simples que se encontra na raiz do seu domínio e que informa os rastreadores, como o Googlebot, de que caminhos podem solicitar. Não remove páginas do índice do Google por si só, apenas gere a indexação. Se a sintaxe estiver incorreta, pode bloquear silenciosamente CSS, JS ou secções inteiras de um website sem aviso prévio, até que o posicionamento nos resultados de pesquisa caia.
O que o ficheiro robots.txt realmente controla.
O ficheiro robots.txt controla o rastreio, não a indexação. Informa os robots dos motores de busca quais os URLs que têm permissão para solicitar do seu servidor. Uma página pode ainda aparecer no índice do Google mesmo que esteja bloqueada no robots.txt, geralmente sem descrição, porque o Google encontrou-a através de um link em vez de a rastrear diretamente.
A maioria dos proprietários de websites assume que o ficheiro robots.txt é uma ferramenta de privacidade. Não é. Trata-se de uma ferramenta de gestão de tráfego para rastreadores, localizada em seudominio.com/robots.txt, lida antes de quase todo o conteúdo da página.
Os motores de busca respeitam o ficheiro robots.txt como uma forte sugestão, e não como uma barreira intransponível. Os bots bem-comportados, como o Googlebot e o Bingbot, seguem-no de perto. É comum os scrapers ignorarem-no por completo, pelo que o robots.txt nunca é uma medida de segurança.
- Gere o orçamento de rastreamento em sites grandes.
- Isto impede que os bots acedam a áreas administrativas, páginas de resultados de pesquisa e URLs com parâmetros duplicados.
- Isto direciona os rastreadores para a localização do seu sitemap.
De acordo com [fonte não especificada], 55,24% das páginas web não têm qualquer backlink a apontar para elas. Pesquisa AhrefsE grande parte destas páginas são exatamente o tipo de URLs curtos e repletos de parâmetros a que o robots.txt pretende impedir que os rastreadores acedam aos mesmos.
Como o Googlebot lê um ficheiro robots.txt
O Googlebot pesquisa o ficheiro robots.txt antes de rastrear um domínio e armazena-o em cache durante aproximadamente 24 horas. Lê as regras de cima para baixo e aplica a regra correspondente mais específica, e não a primeira que encontra. Uma regra "Permitir" mais específica pode substituir uma regra "Não Permitir" mais abrangente para o mesmo bot.
Cada bloco de regras começa com uma linha User-agent. O Googlebot procura um bloco endereçado especificamente a "Googlebot" antes de recorrer ao bloco genérico com um wildcard endereçado a "*".
Por experiência própria, já vi agências implementarem um novo ficheiro robots.txt numa migração de ambiente de teste para produção e esquecerem-se que a versão de teste continha a linha `Disallow: /` no início. Em poucos dias, as sessões orgânicas nas páginas de categoria principal do cliente caíram drasticamente, e a única solução foi enviar um ficheiro corrigido e solicitar uma nova indexação através do Search Console.
O nosso gerador de ficheiros Robots.txt Evita exatamente este erro, construindo o ficheiro a partir de regras selecionáveis em vez de texto livre, pelo que uma barra invertida não consegue eliminar o acesso de rastreio de todo o site.
Sintaxe do robots.txt: Proibir, Permitir e Mapa do site
As três directivas principais são: `User-agent` para direccionar um bot específico, `Disallow` para bloquear um caminho e `Allow` para permitir um caminho dentro de uma pasta bloqueada. Uma linha `Sitemap` a apontar para o seu sitemap XML é opcional, mas recomendada, uma vez que fornece aos rastreadores uma rota direta para os seus URLs mais importantes.
Um ficheiro de trabalho mínimo tem o seguinte aspeto:
| Diretiva | Finalidade | Exemplo |
|---|---|---|
| Agente do utilizador | Tem como alvo um bot ou todos os bots. | Agente do utilizador: * |
| Proibir | Impede a passagem a quem rasteja. | Proibir: /wp-admin/ |
| Permitir | Permite o acesso a um caminho dentro de uma pasta bloqueada. | Permitir: /wp-admin/admin-ajax.php |
| Mapa do site | Aponta para o seu ficheiro de mapa do site. | Mapa do site: https://exemplo.com/sitemap.xml |
Os caminhos são sensíveis a maiúsculas e minúsculas e correspondem ao início do caminho do URL. A barra final é importante, uma vez que `Disallow: /blog` e `Disallow: /blog/` comportam-se de forma diferente em termos de abrangência da correspondência.
Robots.txt vs Noindex: Não são a mesma coisa.
O ficheiro robots.txt impede que um rastreador solicite uma página, enquanto a meta tag noindex permite que o rastreador visite a página, mas instrui-o a não a armazenar nos resultados de pesquisa. Bloquear uma página com o robots.txt e adicionar noindex à mesma página é contraditório, uma vez que o Google não consegue ler a tag noindex numa página que não tem permissão para rastrear.
Este é um dos erros técnicos de SEO mais comuns. Os proprietários de sites querem remover uma página dos resultados de pesquisa, por isso bloqueiam-na no ficheiro robots.txt e depois perguntam-se porque é que ainda aparece semanas depois sem qualquer snippet.
Se o objetivo real for a remoção dos resultados de pesquisa, a ordem correta é: permitir a indexação, adicionar uma etiqueta noindex, aguardar que o Google volte a rastrear e processe a etiqueta e, opcionalmente, bloquear o caminho assim que este for removido.
O nosso conjunto completo de ferramentas de SEO Inclui verificações que sinalizam páginas com sinais robots.txt e noindex conflituantes antes de causarem exatamente esta confusão.
Quando deve e quando não deve bloquear uma página
Bloqueie caminhos que não têm valor para SEO e desperdiçam recursos de rastreio, como páginas de resultados de pesquisa internas, URLs de carrinho e de finalização de compra, URLs com parâmetros filtrados e páginas de login de administrador. Evite bloquear diretórios de CSS, JS ou imagens que o Google necessita para renderizar a página, uma vez que os problemas de renderização afetam diretamente a forma como o conteúdo é compreendido e classificado.
Um erro frequente em sites WordPress é bloquear completamente a pasta /wp-content/, o que pode incluir ficheiros CSS e JS do tema necessários para que o Google renderize a página corretamente. A Google já deixou claro que renderiza páginas de forma muito semelhante a um browser, e uma página que não é renderizada corretamente pode ser mal interpretada em termos de qualidade de conteúdo.
Os backlinks continuam a ser um dos três principais fatores de classificação do Google, e toda esta autoridade de links não importa se os problemas de rastreio impedirem que as suas melhores páginas sejam processadas corretamente. Autoridade de Domínio, uma pontuação de 1 a 100 desenvolvida pela Moz para prever a capacidade de classificação., é construído com base nos mesmos backlinks e sinais de rastreio, pelo que um ficheiro robots.txt mal configurado pode prejudicar silenciosamente o crescimento da autoridade ao longo do tempo. Se estiver a auditar o perfil geral de ligações de um site enquanto limpa as diretivas de rastreio, o nosso verificador de links quebrados em massa É possível analisar a saúde dos seus backlinks e links de saída no mesmo passo.
Como testar o seu ficheiro robots.txt
Teste as alterações utilizando a ferramenta de inspeção de URL do Google Search Console, que mostra exatamente como o Googlebot interpreta o seu ficheiro robots.txt atual para qualquer URL. Teste sempre antes e depois de publicar as alterações, pois um único caractere fora do lugar pode bloquear muito mais do que o pretendido.
Com base na minha experiência, o padrão de implementação mais seguro que utilizo com os clientes das agências é o seguinte: em primeiro lugar, criar um ambiente de teste com o novo ficheiro; depois, testar cinco a dez URLs representativos em todo o site através da inspeção de URLs; confirmar se a linha do sitemap é resolvida corretamente; e só depois publicar o conteúdo num período de baixo tráfego, para que qualquer queda inesperada seja facilmente detetada e revertida rapidamente.
Segundo a Google, 91% das páginas web não recebem qualquer tráfego orgânico, principalmente devido à falta de backlinks a apontar para as mesmas. Dados do AhrefsUm ficheiro robots.txt corrompido pode fazer com que páginas que, de outra forma, seriam relevantes, sejam classificadas na mesma categoria, simplesmente impedindo o Google de as rastrear.
Modelo de robots.txt que pode copiar
Um modelo inicial seguro permite todos os bots por defeito, bloqueia apenas os caminhos de pesquisa internos e de administração e lista o mapa do site. Isto mantém o ficheiro curto, legível e de baixo risco para sites sem problemas incomuns de orçamento de rastreio.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Substitua os caminhos administrativos e o URL do sitemap pelos seus próprios e, em seguida, verifique com o Search Console antes de considerar o trabalho concluído.
Perguntas frequentes
O ficheiro robots.txt remove páginas dos resultados de pesquisa do Google?
Não. Apenas bloqueia a indexação. Uma página bloqueada pode ainda ser indexada se o Google a encontrar através de links externos, geralmente aparecendo sem descrição.
Onde é que o ficheiro robots.txt precisa de ficar?
Na raiz do domínio, como em exemplo.com/robots.txt. Não funcionará se estiver numa subpasta.
O ficheiro robots.txt pode bloquear apenas bots específicos?
Sim. Utilize um bloco User-agent dedicado com o nome do bot específico, como o Googlebot ou o Bingbot, com as suas próprias regras de bloqueio separadas do bloco wildcard.
O ficheiro robots.txt é o mesmo que uma regra de firewall?
Não. Trata-se de uma instrução voluntária que os rastreadores bem-comportados seguem. Não oferece segurança real e nunca deve ser utilizada para ocultar conteúdo sensível.
Com que frequência o Google volta a verificar o ficheiro robots.txt?
O Google geralmente armazena o ficheiro em cache durante cerca de 24 horas, pelo que as alterações não são instantâneas, mas normalmente entram em vigor num dia.
Configure o seu ficheiro robots.txt corretamente desde o início.
Se quiser evitar as suposições, O nosso gerador de ficheiros Robots.txt Cria um ficheiro limpo e testado a partir de seleções simples, e a nossa ferramenta DA PA gratuita Ajuda-o a monitorizar a autoridade enquanto resolve problemas de rastreio. Para uma análise técnica mais aprofundada, o nosso consultor especializado em SEO As diretrizes de análise de serviço acompanham o resto da sua configuração técnica.
