Os Robots, Crawlers ou até mesmo Spiders (dentro de um universo Web), são mecanismos que buscam automaticamente conteúdo web para ser indexado em sistemas de busca como o do Google, Yahoo Search, MSN Search, etc.

Controlamos as atividades dos Robots através de um arquivo chamado robots.txt, que deve ser colocado no diretório raiz do site em questão.

O robots.txt é um arquivo de texto que atua como filtro para os mecanismos de busca. Ele permite ou bloqueia o acesso de partes ou totalidade do site. Seu trabalho funciona assim: Um Robot vai fazer a busca do site http://www.exemplosite.com.br/, antes é verificado http://www.exemplosite.com.br/robots.txt.

Leia mais