Criar um arquivo robots.txt é uma estratégia que faz parte de todo o procedimento estratégico de otimização on-page, que qualquer empresa precisa levar seriamente em consideração, de acordo com a definição de cada objetivo comercial.

Ou seja, é necessário entender a fianlidade do arquivo robots.txt, antes de incluir informações incorretas, que possam prejudicar a visibilidade de suas landing pages na classificação de resultados de pesquisas do Google.

Sendo assim, aqui está uma curta explicação sobre como os mecanismos de pesquisas reagem quando vasculham o arquivo robots.txt, instalado na raíz do seu site.

Em primeiro lugar, o Google e os demais robôs se autorizam a crawler (comportamento padrão) todas as URLs do seu site, a exceção das páginas que foram determinadas dentro do arquivo e caso, haja algum parâmetro dentro do seu arquivo robots.txt, que esteja impedido o rastreamento de suas landing pages, os mecanismos de pesquisas não poderão indexar essas páginas internas, o que influência o desempenho do seu site ou da sua loja virtual.

O que pode ser incluído dentro do meu arquivo robots.txt?

No meu ponto de vista, acreditamos que a maneira mais objetiva de selecionar quais parâmteros devem ser incluídos no seu arquivo robots.txt, é através de uma análise completa de todas as seções do seu site. Isso permitirá avaliar quais páginas você considera relevantes para o SEO do Google e aquelas que não agregam valor a visibilidade da sua empresa, por exemplo: a página do seu formulário de contato, aviso legal, política de privacidade, termos de uso e assim por diante.

A criação de um arquivo robots.txt é obrigatória?

Não! Porém, caso você não crie o seu, significa que você autoriza o full crawling de todas as páginas do seu site, incluindo aquelas que você não deseja indexar no Google.

Saiba como criar um arquivo robots.txt

Todas as plataformas de sistema de gerenciamento de conteúdo (CMS), disponibilizam de um recurso de criação automática de arquivo robots.txt no back-office. Porém, se você preferir criar o seu arquivo robots.txt manualmente, será necessário a utilização de um editor de código html e fazer um upload ao servidor do seu site, via FTP.

Modifique seu robots.txt quando quiser

A atualização de informações de um robots.txt é realizada de uma forma muito simples!

Basta fazer o download da atual versão e modificar livremente os dados que deseja, salvar modificações e depois, enviar ao servidor via FTP.

20 conselhos sobre o arquivo robots.txt

• O Google acessa o arquivo robots.txt, aproximadamente, uma vez por dia desde 2000. Nos tempos antigos, as visitas eram semanais. Isso significa que, se você quiser bloquear uma URL, é mais seguro adicioná-la aos bloqueios no arquivo robots.txt pelo menos 24 horas antes de colocar a URL online.
• Se a URL já se encontra indexada pelo Google, as alterações de última hora, não mudarão em nada. A URL continuará indexada. Neste caso, a única solução possível é inserir a meta tag: meta robots, noindex.
• Em 2008, o Google declarou que seu robô Googlebot utiliza as instruções suplementares, que não foram definidas por padrão. Se trata simplesmente, de carácteres especiais $ e * no comando Allow e da declaração de sitemaps xml compatíveis com seu site.
• Evite bloquear o crawling (rastreamento) das URLs redirecionadas (301). Inversamente, os motores de buscas terão dificuldades de constatar esse redirecionamento.
• Os cometários são autorizados (a linha começa com #), mas são totalmente ignorados.
• Não é usado para proteger o acesso de uma URL ou uma seção do site (você deve solicitar um login): não indicar URLs “sensíveis”.
• O volume máximo (tamanho) de um arquivo robots.txt é de 500ko. Além desse limite, o Google vai ignorar o seu arquivo.
• Ocasionalmente, o Google indica no Search Console que está encontrando problemas técnicos de exploração do arquivo robots.txt. As notificações de erros (exemplo: código 404, 403, http etc.) são enviadas diretamente ao proprietário do site.
• Pode estar indexado no repertório de indexação de site do Google. Para removê-lo, deve-se usar o X-Robots-Tag ou interditar o rastreamento do arquivo no Google Search Console.
• Os parâmetros do Crawl-Delay especificados no robots.txt são ignorados pelo Google para fazer um rastreamento mais rápido.
• Se durante a pré-produção do site, você tenha decido bloquear o rastreamento da integralidade do site (Disallow: /), pense em retirar esse parâmetro, antes do lançamento oficial do site.
• A URL (dentro do arquivo robots.txt) deve sempre iniciar com uma barra /
• Fique atento na ordem dos parâmetros Allow e Disallow. Lembre-se: Allow não é padrão, mas o Google administra isso.
• O nome do arquivo deve obrigatoriamente se chamar robots.txt
• Os sub-domínios devem apresentar um arquivo robots.txt dedicado à cada um deles.
• Os protocolos HTTP e HTTPS devem obter um arquivo robots.txt separadamente.
• Contrariamente ao outros motores de buscas, o Google aceita o arquivo robotx.txt no protocolo FTP.
• A codificação deve ser em UTF-8.
• Os espaços são opcionais. Porém, são recomendados para melhorar a legibilidade do arquivo.
• O Google considera apenas 4 parâmetros: user-agent, Disallow, Allow, e sitemap.

Conclusão

O robots.txt possui um papel importantíssimo ao SEO de um site e é através da criação desse arquivo, você poderá controlar quais partes do seu site serão indexadas no Google ou não, acabar de vez com as páginas satélites e a duplicação de conteúdo.