Robots.txt – O que é e Como Usar

Compartilhar no facebook
Facebook
Compartilhar no whatsapp
WhatsApp
Compartilhar no linkedin
LinkedIn
Compartilhar no twitter
Twitter
Compartilhar no pinterest
Pinterest

Entender o que é o arquivo robots.txt e como configurar os parâmetros é indispensável para uma boa estratégia de SEO. No arquivo você pode permitir e liberar certos diretórios do site para a indexação nos buscadores.

Neste artigo você terá uma visão completa do funcionamento do robots.txt e como utiliza-lo no seu site.

Vídeo

O que é o arquivo robots.txt

É um arquivo utilizado para informar aos robôs de busca na Internet quais diretórios podem ou não aparecer nos resultados de busca. Com o arquivo é possível permitir e negar a indexação de certos diretórios. Também é usado para indexar o arquivo com o mapa do site, o sitemap.xml.

Como Usar o Robots.txt

Como você deve ter observado, o arquivo tem o formato .TXT. Isso significa que ele é um arquivo de texto e pode ser criado no bloco de notas do seu computador ou diretamente no gerenciador de arquivos da hospedagem.

Exemplos de Arquivo

Comandos

  • Sitemap: Server para indicar a URL do arquivo XML do mapa do site.
  • Allow: Usado para indicar o diretório que pode ser indexado pelo buscador.
  • Disallow: Usado para indicar o diretório que não deve ser indexado nos resultados de busca.
  • User-agent: Usado para informar para qual robô de busca as configurações se aplicam. É possível usar um asterisco para usar a mesma lista de diretórios para todos os buscadores.

Nome dos Robôs de Busca

  • Google: Googlebot
  • Google Imagens: Googlebot-Image
  • Bing: Bingbot
  • Twitter: Twitterbot
  • Slurp Bot: Slurp
  • Apple: Applebot
  • Baiduspider: Baiduspider
  • Yandex: YandexBot
  • Alexa: ia_archiver

Exemplo Usado no Vídeo

Use o exemplo apenas se você trabalha com o WordPress, caso contrário, faça a liberação e bloqueios dos diretórios de acordo com a sua demanda.

Sitemap: https://seudominio.com/nomedomapa.xml

User-agent: *

Allow: /
Allow: /wp-contet/uploads/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-contet/

1 comentário em “Robots.txt – O que é e Como Usar”

Deixe um comentário

Já faz parte da nossa Lista VIP de Conteúdo?
Receba semanalmente as melhores dicas para
deixar o seu site seguro, rápido e otimizado:

Seu E-mail não será compartilhado.

O seu site NÃO está seguro!

Receba AGORA um eBook com dicas para deixar o seu site MAIS SEGURO. É GRÁTIS!

Junte-se aos 1.304 assinantes que vão deixar seus sites seguros.

Seu e-mail não será compartilhado.