O sitemap e o robots.txt est\u00e3o na mesma camada t\u00e9cnica de um site, ambos s\u00e3o ficheiros de texto simples que os rastreadores verificam logo no in\u00edcio, e esta proximidade leva muitas pessoas a assumir que t\u00eam fun\u00e7\u00f5es semelhantes. Na verdade, fazem coisas quase opostas: um incentiva o rastreio, o outro restringe-o.<\/p>\n
Um sitemap XML \u00e9 um ficheiro que lista os URLs do seu website que pretende que os motores de busca rastreiem e considerem para indexa\u00e7\u00e3o, geralmente incluindo metadados como a data da \u00faltima modifica\u00e7\u00e3o. \u00c9 um convite, n\u00e3o uma garantia, uma vez que o Google ainda decide de forma independente se vai rastrear e indexar cada URL listado.<\/p>\n
Um mapa do site \u00e9 mais \u00fatil para sites grandes, sites novos com poucos links externos ou sites com conte\u00fado dif\u00edcil de descobrir apenas atrav\u00e9s de um rastreio normal.<\/p>\n
O ficheiro robots.txt \u00e9 um ficheiro de texto simples que restringe os caminhos que os rastreadores podem solicitar ao seu servidor. Enquanto um sitemap diz \"por favor, rastreie estes sites\", o robots.txt diz \"n\u00e3o rastreie estes sites\", tornando os dois ficheiros funcionalmente opostos em prop\u00f3sito, embora estejam numa camada t\u00e9cnica semelhante do site.<\/p>\n
O nosso gerador de ficheiros Robots.txt<\/a> Este ficheiro \u00e9 criado a partir de sele\u00e7\u00f5es simples, o que evita o erro comum de bloquear acidentalmente mais do que o pretendido com um caractere em falta numa regra escrita manualmente.<\/p>\n O ficheiro robots.txt inclui normalmente uma diretiva Sitemap apontando para a localiza\u00e7\u00e3o do sitemap, o que \u00e9 considerado uma boa pr\u00e1tica, mas n\u00e3o \u00e9 estritamente necess\u00e1rio, uma vez que os sitemaps tamb\u00e9m podem ser enviados diretamente atrav\u00e9s do Google Search Console. Os dois ficheiros funcionam de forma independente e n\u00e3o precisam um do outro para funcionarem corretamente.<\/em><\/p>\n Por experi\u00eancia pr\u00f3pria, adiciono a linha do Sitemap a praticamente todos os ficheiros robots.txt que escrevo, independentemente de o cliente tamb\u00e9m os ter enviado atrav\u00e9s do Search Console, uma vez que custa apenas uma linha e fornece a qualquer tracker um caminho direto para o sitemap, sem qualquer desvantagem.<\/p>\n Se um URL aparece no seu sitemap, mas est\u00e1 bloqueado pelo robots.txt, este envia um sinal contradit\u00f3rio que desperdi\u00e7a a entrada no sitemap, uma vez que o Google n\u00e3o consegue rastrear um URL que foi instru\u00eddo a evitar. Esta discrep\u00e2ncia \u00e9 um dos erros t\u00e9cnicos de SEO mais comuns encontrados durante as auditorias de websites.<\/p>\n Por experi\u00eancia pr\u00f3pria, esta contradi\u00e7\u00e3o exata aparece constantemente em sites onde o sitemap \u00e9 gerado automaticamente por um plugin, enquanto o ficheiro robots.txt foi editado manualmente por outra pessoa, sem que ningu\u00e9m verifique se os dois ficheiros est\u00e3o de facto em conformidade.<\/p>\n Quase todos os sites beneficiam de um sitemap, uma vez que facilita a descoberta, independentemente do tamanho do site. O ficheiro robots.txt \u00e9 tecnicamente opcional, uma vez que o WordPress e a maioria das plataformas CMS geram um ficheiro padr\u00e3o b\u00e1sico automaticamente, mas um ficheiro personalizado \u00e9 \u00fatil no caso de necessitar de gerir o or\u00e7amento de rastreio ou bloquear caminhos espec\u00edficos.<\/p>\n Uma configura\u00e7\u00e3o de rastejamento limpa tamb\u00e9m suporta Autoridade de dom\u00ednio<\/a> O crescimento ocorre indiretamente, uma vez que a autoridade de dom\u00ednio (DA) \u00e9 constru\u00edda em grande parte com base em sinais de backlinks que s\u00f3 contam quando o Google consegue rastrear e indexar a p\u00e1gina para a qual esses links apontam.<\/p>\nPrecisam de se referenciar mutuamente?<\/h2>\n
O que acontece se um sitemap listar um URL bloqueado?<\/h2>\n
Precisa dos dois arquivos?<\/h2>\n