Os Robots, Crawlers ou até mesmo Spiders (dentro de um universo Web), são mecanismos que buscam automaticamente conteúdo web para ser indexado em sistemas de busca como o do Google, Yahoo Search, MSN Search, etc.

Controlamos as atividades dos Robots através de um arquivo chamado robots.txt, que deve ser colocado no diretório raiz do site em questão.

O robots.txt é um arquivo de texto que atua como filtro para os mecanismos de busca. Ele permite ou bloqueia o acesso de partes ou totalidade do site. Seu trabalho funciona assim: Um Robot vai fazer a busca do site http://www.exemplosite.com.br/, antes é verificado http://www.exemplosite.com.br/robots.txt.

O uso dos robots.txt tem grande importância. Uma pesquisa realizada por alguém que saiba utilizar sistemas de busca, pode resultar em páginas de login, administração interna, além de páginas duplicadas, que antecede a penalização por conteúdo duplicado.

Há quem confunda o uso do robots.txt. O robots.txt não é uma ferramenta de segurança, apenas impede a indexação do conteúdo especificado, ele não barra usuários, além disso, pode ser acessado por qualquer usuário.

Como a função desse arquivo é criar políticas de indexação de conteúdo, vamos entender sua sintaxe:

User-agent

Indica qual, ou quais, robots devem seguir a regra.

Google
User-agent: Googlebot

Yahoo
User-agente: Slurp

Todos os mecanismos
User-agent: *

Podemos obter uma lista bem extensa de User-agent em: http://www.user-agents.org/index.shtml

Disallow

Indica qual, ou quais, diretórios e/ou páginas não devem ser indexados.

Barrando a indexação completa do endereço
Disallow: /

Barrando a indexação do diretório /login/
Disallow: /login/

Barrando a indexação da pagina login.html
Disallow: login.html

Allow

Indica qual, ou quais, diretórios e/ou páginas devem ser indexados.

Permitindo a indexação do diretório /site/
Allow: /site/

Muitos consideram o comando Allow no mínimo estranho, visto que por default todas as páginas e diretórios tem permissão para serem indexadas. Mas analisemos a estrutura:

/news/adm/
/news/recentes/

Supondo que queremos bloquear o conteúdo de /news/ por questões de segurança, pois há um diretório de administração, mas queremos a indexação do diretório /news/recentes/, então:

Disallow: /news/
Allow: /news/recentes/

Sitemap

Indica o caminho do sitemap de seu endereço.

Indicando o sitemap do site
Sitemap: http://www.exemplosite.com.br/sitemap.gz

Crawl-delay

Representa o intervalo de requisições que deve haver no endereço.

Indica que deve haver um intervalo de 10 segundos nas requisições do endereço
Crawl-delay: 10

Expressões Regulares

Um recurso interessante suportado pelo robots.txt, que ajuda no problema de conteúdo duplicado, é o uso de expressões regulares em sua composição, por exemplo: ^<string>.*$

Barrando todos os arquivos que contenham print=qualquer lugar
User-agent: *
Disallow: /*print=

Exemplos de robot.txt

Ex1:
User-agente: *
Disallow:
Disallow: /cgi-bin/
Disallow: /admin/
Sitemap: http://www.exemplosite.com.br/sitemap.gz

No exemplo acima, é barrada a indexação dos diretórios /cgi-bin/ e /admin/ por todos os Robots.

Ex2:
User-agente: Googlebot
Disallow:
User-agente: *
Disallow: /
Sitemap: http://www.exemplosite.com.br/sitemap.gz

Nesse exemplo, só é permitida a indexação do conteúdo pelo Googlebot, para os demais é barrada, pois a regra em cima, sobrescreve a de baixo.

Referências:

• http://www.robotstxt.org/
• http://www.criarmeusite.com/2009/11/a-importancia-do-robots-txt/
• http://www.mestreseo.com.br/seo/robots-txt/
• http://www.user-agents.org/index.shtml

Posts relacionados

• Como otimizar site em Wordpress com o plugin All in One SEO
• Nova Métrica Google Adwords – Parcelas de Impressão no nível de Grupo de Anúncios
• Google Analytics: O que muda com a nova política de buscas do Google?
• SEO e Wordpress, será que eles combinam?
• Como SEO aumenta o ROI de Links Patrocinados