Entender o que é o arquivo robots.txt e como configurar os parâmetros é indispensável para uma boa estratégia de SEO. No arquivo você pode permitir e liberar certos diretórios do site para a indexação nos buscadores.
Neste artigo você terá uma visão completa do funcionamento do robots.txt e como utiliza-lo no seu site.
Vídeo
O que é o arquivo robots.txt
É um arquivo utilizado para informar aos robôs de busca na Internet quais diretórios podem ou não aparecer nos resultados de busca. Com o arquivo é possível permitir e negar a indexação de certos diretórios. Também é usado para indexar o arquivo com o mapa do site, o sitemap.xml.
Como Usar o Robots.txt
Como você deve ter observado, o arquivo tem o formato .TXT. Isso significa que ele é um arquivo de texto e pode ser criado no bloco de notas do seu computador ou diretamente no gerenciador de arquivos da hospedagem.
Exemplos de Arquivo
- Google: https://www.google.com/robots.txt
- Facebook: https://www.facebook.com/robots.txt
Comandos
- Sitemap: Server para indicar a URL do arquivo XML do mapa do site.
- Allow: Usado para indicar o diretório que pode ser indexado pelo buscador.
- Disallow: Usado para indicar o diretório que não deve ser indexado nos resultados de busca.
- User-agent: Usado para informar para qual robô de busca as configurações se aplicam. É possível usar um asterisco para usar a mesma lista de diretórios para todos os buscadores.
Nome dos Robôs de Busca
- Google: Googlebot
- Google Imagens: Googlebot-Image
- Bing: Bingbot
- Twitter: Twitterbot
- Slurp Bot: Slurp
- Apple: Applebot
- Baiduspider: Baiduspider
- Yandex: YandexBot
- Alexa: ia_archiver
Exemplo Usado no Vídeo
Use o exemplo apenas se você trabalha com o WordPress, caso contrário, faça a liberação e bloqueios dos diretórios de acordo com a sua demanda.
Sitemap: User-agent: * Allow: / Allow: /wp-contet/uploads/ Disallow: /wp-admin/ Disallow: /wp-includes/ Disallow: /wp-contet/