O sitemap e o robots.txt estão na mesma camada técnica de um site, ambos são ficheiros de texto simples que os rastreadores verificam logo no início, e esta proximidade leva muitas pessoas a assumir que têm funções semelhantes. Na verdade, fazem coisas quase opostas: um incentiva o rastreio, o outro restringe-o.
O que um mapa do site realmente faz
Um sitemap XML é um ficheiro que lista os URLs do seu website que pretende que os motores de busca rastreiem e considerem para indexação, geralmente incluindo metadados como a data da última modificação. É um convite, não uma garantia, uma vez que o Google ainda decide de forma independente se vai rastrear e indexar cada URL listado.
Um mapa do site é mais útil para sites grandes, sites novos com poucos links externos ou sites com conteúdo difícil de descobrir apenas através de um rastreio normal.
O que o ficheiro robots.txt realmente faz
O ficheiro robots.txt é um ficheiro de texto simples que restringe os caminhos que os rastreadores podem solicitar ao seu servidor. Enquanto um sitemap diz "por favor, rastreie estes sites", o robots.txt diz "não rastreie estes sites", tornando os dois ficheiros funcionalmente opostos em propósito, embora estejam numa camada técnica semelhante do site.
O nosso gerador de ficheiros Robots.txt Este ficheiro é criado a partir de seleções simples, o que evita o erro comum de bloquear acidentalmente mais do que o pretendido com um caractere em falta numa regra escrita manualmente.
Precisam de se referenciar mutuamente?
O ficheiro robots.txt inclui normalmente uma diretiva Sitemap apontando para a localização do sitemap, o que é considerado uma boa prática, mas não é estritamente necessário, uma vez que os sitemaps também podem ser enviados diretamente através do Google Search Console. Os dois ficheiros funcionam de forma independente e não precisam um do outro para funcionarem corretamente.
Por experiência própria, adiciono a linha do Sitemap a praticamente todos os ficheiros robots.txt que escrevo, independentemente de o cliente também os ter enviado através do Search Console, uma vez que custa apenas uma linha e fornece a qualquer tracker um caminho direto para o sitemap, sem qualquer desvantagem.
O que acontece se um sitemap listar um URL bloqueado?
Se um URL aparece no seu sitemap, mas está bloqueado pelo robots.txt, este envia um sinal contraditório que desperdiça a entrada no sitemap, uma vez que o Google não consegue rastrear um URL que foi instruído a evitar. Esta discrepância é um dos erros técnicos de SEO mais comuns encontrados durante as auditorias de websites.
Por experiência própria, esta contradição exata aparece constantemente em sites onde o sitemap é gerado automaticamente por um plugin, enquanto o ficheiro robots.txt foi editado manualmente por outra pessoa, sem que ninguém verifique se os dois ficheiros estão de facto em conformidade.
Precisa dos dois arquivos?
Quase todos os sites beneficiam de um sitemap, uma vez que facilita a descoberta, independentemente do tamanho do site. O ficheiro robots.txt é tecnicamente opcional, uma vez que o WordPress e a maioria das plataformas CMS geram um ficheiro padrão básico automaticamente, mas um ficheiro personalizado é útil no caso de necessitar de gerir o orçamento de rastreio ou bloquear caminhos específicos.
Uma configuração de rastejamento limpa também suporta Autoridade de domínio O crescimento ocorre indiretamente, uma vez que a autoridade de domínio (DA) é construída em grande parte com base em sinais de backlinks que só contam quando o Google consegue rastrear e indexar a página para a qual esses links apontam.
| Ficheiro | Finalidade | Obrigatório? |
|---|---|---|
| Mapa do site | Lista URLs para rastrear e indexar. | Altamente recomendado para todos os sites. |
| Robots.txt | Restringe o acesso do rastreador a caminhos específicos. | Opcional, mas vale a pena personalizar para além das definições padrão do CMS. |
Verificando a consistência de ambos os ficheiros
Verificar a consistência significa confirmar se nenhum URL listado no seu sitemap está bloqueado no robots.txt e se a localização do seu sitemap está referenciada corretamente, caso opte por incluí-lo como uma diretiva. Esta rápida verificação cruzada deteta uma das inconsistências técnicas de SEO mais comuns e fáceis de corrigir.
Os backlinks continuam a ser um dos três principais fatores de classificação do Google, e nenhum deste valor de link conquistado chega a uma página corretamente se uma incompatibilidade entre o sitemap e o robots.txt impedir silenciosamente o Google de a rastrear. De acordo com a Google, 91% das páginas não recebem qualquer tráfego orgânico. AhrefsE uma contradição como esta na velocidade de navegação é um dos poucos problemas que prejudicam o tráfego e que demora apenas alguns minutos a ser encontrado e corrigido, assim que se sabe onde o procurar.
Perguntas frequentes
Um site pode funcionar perfeitamente sem qualquer mapa do site?
Os sites mais pequenos com uma forte rede de links internos podem, por vezes, funcionar sem um sitemap, mas um sitemap continua a ser uma forma simples de facilitar a indexação, independentemente do tamanho do site.
O ficheiro robots.txt precisa de ser atualizado sempre que adiciono uma nova página?
Não, o ficheiro robots.txt só precisa de ser atualizado quando se pretende alterar os caminhos bloqueados, e não para cada nova página publicada.
Onde devo submeter o meu sitemap para além de o referenciar no robots.txt?
Para obter a melhor visibilidade, envie diretamente através do Google Search Console e do Bing Webmaster Tools.
Posso ter vários sitemaps para o mesmo site?
Sim, os sites de grande dimensão utilizam frequentemente um ficheiro de índice de sitemap que referencia vários sitemaps mais pequenos organizados por tipo de conteúdo.
O Google irá ignorar o meu sitemap se o meu ficheiro robots.txt tiver erros?
Não necessariamente todo o sitemap, mas URLs específicos que estejam bloqueados no robots.txt serão ignorados, independentemente da sua listagem no sitemap.
Certifique-se de que ambos os ficheiros estão corretos.
O nosso gerador de ficheiros Robots.txt Cria um ficheiro limpo e testado em poucos minutos. Combine-o com o nosso verificador DA PA em massa para monitorizar a autoridade enquanto limpa os sinais de seguimento e visita o nosso consultor especializado em SEO página para uma análise completa de SEO técnico.
