O WordPress gera um ficheiro robots.txt virtual automaticamente se nunca criar um ficheiro físico, e a maioria dos proprietários de sites não faz ideia do que contém. Este ficheiro padrão é geralmente suficiente para um pequeno blogue, mas qualquer pessoa que utilize o WooCommerce, plugins de membros ou uma grande biblioteca de conteúdo precisa de mais controlo do que o ficheiro padrão oferece.
Onde o WordPress esconde o seu ficheiro robots.txt padrão.
O WordPress gera um ficheiro robots.txt virtual no seudominio.com/robots.txt mesmo sem um ficheiro físico no diretório raiz. Esta versão padrão bloqueia normalmente o /wp-admin/ enquanto permite o admin-ajax.php, e desaparece no momento em que envia um ficheiro robots.txt real para o substituir.
Pode ver esta configuração padrão acedendo ao ficheiro robots.txt do seu site diretamente num navegador. Se nunca o alterou, o que vê é a versão integrada do núcleo do WordPress, e não algo que um plugin ou programador tenha configurado.
Editando o ficheiro robots.txt através de um plugin de SEO
A maioria dos principais plugins de SEO para WordPress, incluindo o Yoast SEO e o Rank Math, têm um editor de robots.txt integrado nas definições de ferramentas. Este é o método mais fácil para utilizadores sem conhecimentos técnicos, pois não requer o upload de ficheiros nem acesso FTP e guarda as alterações diretamente através do painel do WordPress.
O plugin grava um ficheiro robots.txt físico no servidor na primeira vez que guarda as alterações através do seu editor, substituindo permanentemente o ficheiro virtual padrão.
- Yoast SEO: Menu Ferramentas, Editor de ficheiros
- Rank Math: Configurações gerais, Editar robots.txt
- SEO Tudo em Um: Ferramentas, Editor de Robots.txt
Editando o ficheiro robots.txt manualmente via FTP
Ligue-se ao seu servidor com um cliente FTP, navegue até à pasta raiz onde se encontra o ficheiro wp-config.php e edite o ficheiro robots.txt existente ou crie um novo ficheiro de texto simples com o mesmo nome. Este método funciona independentemente dos plugins instalados e oferece controlo total sobre o conteúdo em bruto.
Por experiência própria, este é o caminho que sigo sempre que o editor de plugins SEO de um cliente apresenta problemas ou quando preciso de enviar um ficheiro idêntico para várias instalações do WordPress em simultâneo durante uma limpeza geral da agência. O upload direto do ficheiro elimina quaisquer peculiaridades específicas do plugin.
Caminhos específicos do WordPress que vale a pena bloquear
Além do bloqueio padrão em /wp-admin/, os sites WordPress beneficiam frequentemente do bloqueio de URLs de resultados de pesquisa internos, links de resposta a comentários com parâmetros de rastreio e variações de feeds exclusivas para administradores. Nenhum destes caminhos oferece valor para a pesquisa, e bloqueá-los ajuda os rastreadores a dedicarem mais tempo ao conteúdo relevante.
User-agent: * Disallow: /wp-admin/ Disallow: /?s= Disallow: /search/ Allow: /wp-admin/admin-ajax.php Sitemap: https://example.com/sitemap_index.xml
Evite bloquear a pasta /wp-content/ como um todo, pois este caminho contém os ficheiros de temas e plugins que a Google necessita para renderizar as páginas corretamente.
Considerações sobre o WooCommerce e o plugin de membros
As lojas WooCommerce beneficiam geralmente do bloqueio dos caminhos do carrinho, da finalização da compra e da página "a minha conta" no ficheiro robots.txt, uma vez que estas páginas são específicas do utilizador e não oferecem valor para SEO. Os plugins de membros e as paywalls geram frequentemente URLs semelhantes, também relacionados com a conta, que vale a pena serem eliminados da mesma forma.
De acordo com a Google, 91% das páginas não recebem qualquer tráfego orgânico. Ahrefs, muitas vezes porque as páginas que competem por este tráfego são superficiais, duplicadas ou simplesmente não são o tipo de conteúdo que alguém procura, que é exatamente a categoria em que se enquadram as páginas de carrinho de compras e de conta.
Se gere uma loja WooCommerce e pretende verificar o desempenho das suas páginas de produtos em relação aos sinais de autoridade em grande escala, o nosso verificador DA PA em massa Processa até 50 domínios ou caminhos numa única passagem.
Testar as suas alterações sem quebrar o site
Após guardar qualquer alteração no ficheiro robots.txt do WordPress, teste o ficheiro ativo acedendo ao seudominio.com/robots.txt diretamente num browser e, em seguida, execute algumas páginas importantes na ferramenta de inspeção de URLs do Google Search Console para confirmar se não estão a ser bloqueadas inesperadamente.
Por experiência própria, os sites WordPress que mais sofrem são aqueles que utilizam migrações automatizadas ou ferramentas de sincronização entre ambientes de teste e produção, onde um ficheiro robots.txt editado para o ambiente de desenvolvimento é silenciosamente transferido para o ambiente de produção sem que ninguém o reveja na lista de verificação de implementação.
Os backlinks continuam a ser um dos três principais fatores de classificação do Google, e uma implementação incorreta do robots.txt num site WordPress pode comprometer meses de trabalho de backlinks com um único erro de gravação. Autoridade de Domínio, a pontuação Moz de 1 a 100 construída em grande parte com base nesses mesmos sinais de backlinks., é uma das métricas mais fáceis de monitorizar para identificar sinais precoces de problemas de rastreio. Verifique sempre antes de prosseguir.
Perguntas frequentes
Preciso de um plugin para o robots.txt se já uso o Yoast ou o Rank Math?
Não, ambos os plugins incluem um editor de robots.txt integrado, pelo que um plugin dedicado separado é desnecessário.
Apagar o meu ficheiro robots.txt personalizado fará com que o ficheiro padrão do WordPress volte a existir?
Sim, remover o ficheiro físico restaura automaticamente a versão padrão virtual do núcleo do WordPress.
Devo bloquear o /wp-includes/ no ficheiro robots.txt do WordPress?
Geralmente não, uma vez que o núcleo moderno do WordPress já não precisa que este seja bloqueado, e alguns recursos dentro dele podem ser necessários para a renderização.
Posso ter regras diferentes no ficheiro robots.txt para um ambiente de teste WordPress?
Sim, e deve fazê-lo, uma vez que os sites de teste geralmente funcionam melhor totalmente bloqueados com `Disallow: /` até ao lançamento, e depois são alterados para o conjunto de regras de produção.
Como posso verificar se o meu ficheiro robots.txt do WordPress está realmente ativo?
Aceda a seudominio.com/robots.txt diretamente em qualquer browser. Se as suas regras personalizadas aparecerem em vez das regras padrão do WordPress, o ficheiro está ativo.
Crie um ficheiro robots.txt mais seguro para o seu site WordPress.
O nosso gerador de ficheiros Robots.txt Cria um ficheiro preparado para WordPress a partir de seleções simples, sem necessidade de FTP ou configurações de plugins. Para monitorização contínua de autoridade em sites de clientes, a nossa ferramenta DA PA gratuita Abrange até 50 domínios em simultâneo, e o nosso consultor especializado em SEO O serviço pode auditar toda a sua configuração técnica, caso pretenda uma segunda opinião.
