Um ficheiro robots.txt \u00e9 um guia de regras em texto simples que se encontra na raiz do seu dom\u00ednio e que informa os rastreadores, como o Googlebot, de que caminhos podem solicitar. N\u00e3o remove p\u00e1ginas do \u00edndice do Google por si s\u00f3, apenas gere a indexa\u00e7\u00e3o. Se a sintaxe estiver incorreta, pode bloquear silenciosamente CSS, JS ou sec\u00e7\u00f5es inteiras de um website sem aviso pr\u00e9vio, at\u00e9 que o posicionamento nos resultados de pesquisa caia.<\/p>\n
O ficheiro robots.txt controla o rastreio, n\u00e3o a indexa\u00e7\u00e3o. Informa os robots dos motores de busca quais os URLs que t\u00eam permiss\u00e3o para solicitar do seu servidor. Uma p\u00e1gina pode ainda aparecer no \u00edndice do Google mesmo que esteja bloqueada no robots.txt, geralmente sem descri\u00e7\u00e3o, porque o Google encontrou-a atrav\u00e9s de um link em vez de a rastrear diretamente.<\/p>\n
A maioria dos propriet\u00e1rios de websites assume que o ficheiro robots.txt \u00e9 uma ferramenta de privacidade. N\u00e3o \u00e9. Trata-se de uma ferramenta de gest\u00e3o de tr\u00e1fego para rastreadores, localizada em seudominio.com\/robots.txt, lida antes de quase todo o conte\u00fado da p\u00e1gina.<\/p>\n
Os motores de busca respeitam o ficheiro robots.txt como uma forte sugest\u00e3o, e n\u00e3o como uma barreira intranspon\u00edvel. Os bots bem-comportados, como o Googlebot e o Bingbot, seguem-no de perto. \u00c9 comum os scrapers ignorarem-no por completo, pelo que o robots.txt nunca \u00e9 uma medida de seguran\u00e7a.<\/p>\n