Robots.txt
Atualizado em
Arquivo que informa regras de acesso a rastreadores compatíveis. Controla rastreamento, não protege dados nem garante remoção de URLs da busca.
Como aplicar na prática
Não use para ocultar informações sensíveis. Uma URL bloqueada ainda pode ser conhecida por links; para desindexar, o mecanismo precisa conseguir ler a instrução apropriada.
Exemplo
Um ambiente privado exige autenticação; depender apenas de Disallow não restringe o acesso de pessoas.
