Web crawler
Também conhecido como: Crawler, Spider, Robô de busca
Atualizado em
Programa que solicita recursos e percorre endereços para coletar informações. Existem rastreadores de mecanismos de busca e de ferramentas de auditoria.
Como aplicar na prática
Diferencie dados de um crawl de auditoria do comportamento real do Googlebot. Uma ferramenta encontrar a URL não comprova que o Google a acessou ou indexou.
Exemplo
O Screaming Frog detecta links quebrados no site, enquanto logs mostram quais caminhos foram visitados pelos robôs externos.
