Validador Robots.txt

Como usar o validador Robots.txt da ETTVI?

Siga estas etapas simples para testar o arquivo robots.txt de um site com a ferramenta avançada da ETTVI:

PASSO 1 - Insira o URL

Escreva o URL de um site da seguinte forma:

Nota: Não se esqueça de adicionar “robots.txt” após a barra.

PASSO 2 - Selecione User-Agent

Especifique o rastreador no qual você gostaria de inspecionar o arquivo robots.txt

Você pode escolher qualquer um dos seguintes agentes de usuário:

• Bot do Google
• Notícias sobre bots do Google
• Adsense
• AdsBot
• BingBot
• MSNBot-Mídia
• Yahoo!
• PatoDuckGo
• Baidu
• Yandex
• Facebook
• Bot do Twitter
• Botificar

PASSO 3 - Validar arquivo Robots.txt

Quando você clica em “Verificar”, o Validador Free Robots.txt da ETTVI é executado para identificar e inspecionar as metadiretivas de robôs de determinado site. Ele destaca os URLs que o bot selecionado pode ou não rastrear.

Quando você clica em “Verificar”, o Validador Free Robots.txt da ETTVI é executado para identificar e inspecionar as metadiretivas de robôs de determinado site. Ele destaca os URLs que o bot selecionado pode ou não rastrear.

Agente do usuário: * indica que todos os rastreadores de mecanismos de pesquisa têm permissão/não permissão para rastrear o site

Permitir: indica que um URL pode ser rastreado pelo(s) respectivo(s) rastreador(es) do mecanismo de pesquisa

Disallow: indica que um URL não pode ser rastreado pelo(s) respectivo(s) rastreador(es) do mecanismo de pesquisa

O que é o arquivo Robots.txt?

O arquivo Robots.txt permite ou proíbe que os rastreadores acessem e rastreiem as páginas da web. Pense no arquivo Robots.txt como um manual de instruções para os rastreadores do mecanismo de pesquisa. Ele fornece um conjunto de instruções para especificar quais partes do site são acessíveis e quais não são.

Mais claramente, o arquivo robots.txt permite que os webmasters controlem os rastreadores – o que acessar e como. Você deve saber que um rastreador nunca chega diretamente à estrutura do site, mas acessa o arquivo robots.txt do respectivo site para saber quais URLs podem ser rastreados e quais URLs não são permitidos.

Usos do arquivo Robots.txt

AArquivo Robots.txtajuda os webmasters a manter as páginas da web, arquivos de mídia e arquivos de recursos fora do alcance de todos os rastreadores de mecanismos de pesquisa. Em palavras simples, é usado para manter URLs ou imagens, vídeos, áudios, scripts e arquivos de estilo fora das SERPs.

A maioria dos SEOs tende a aproveitar o arquivo Robots.txt como meio de impedir que páginas da web apareçam nos resultados do mecanismo de pesquisa. No entanto, não deve ser usado para este fim, pois existem outras maneiras de fazê-lo, como a aplicação de diretivas de meta-robôs e criptografia de senha.

Tenha em mente que o arquivo Robots.txt só deve ser usado para evitar que os rastreadores sobrecarreguem um site com solicitações de rastreamento. Além disso, se necessário, o arquivo Robots.txt pode ser usado para economizar o orçamento de rastreamento, bloqueando as páginas da web que não são importantes ou estão subdesenvolvidas.

Benefícios de usar o arquivo Robots.txt

O arquivo Robots.txt pode ser um ás na manga e um perigo para o SEO do seu site. Exceto pela possibilidade arriscada de você impedir involuntariamente que os bots do mecanismo de pesquisa rastreiem todo o seu site, o arquivo Robots.txt sempre é útil.

Usando um arquivo Robots.txt, os webmasters podem:

• Especifique a localização do mapa do site
• Proibir o rastreamento de conteúdo duplicado
• Impedir que certos URLs e arquivos apareçam em SERPs
• Definir o atraso do rastreamento
• Salve o orçamento de rastreamento

Todas essas práticas são consideradas as melhores para o SEO do site e somente o Robots.txt pode ajudá-lo a aplicar

Limitações no uso do arquivo Robots.txt

Todos os webmasters devem saber que, em alguns casos, o Robots Exclusion Standard provavelmente não consegue impedir o rastreamento de páginas da web. Existem certas limitações no uso do arquivo Robots.txt, como:

• Nem todos os rastreadores de mecanismos de pesquisa seguem as diretivas do robots.txt
• Cada rastreador tem sua própria maneira de entender a sintaxe do robots.txt
• Existe a possibilidade de o Googlebot rastrear um URL não permitido

Certas práticas de SEO podem ser realizadas para garantir que os URLs bloqueados permaneçam ocultos de todos os rastreadores dos mecanismos de pesquisa.

Criando arquivo Robots.txt

Dê uma olhada nestes formatos de exemplo para saber como você pode criar e modificar seu arquivo Robots.txt:

Agente do usuário: * Disallow: / indica que todo rastreador de mecanismo de pesquisa está proibido de rastrear todas as páginas da web

Agente do usuário: * Disallow: indica que todo rastreador de mecanismo de pesquisa tem permissão para rastrear todo o site

User-agent: Googlebot Disallow: / indica que apenas o rastreador do Google não tem permissão para rastrear todas as páginas do site

Agente do usuário: * Disallow: /subfolder/ indica que nenhum rastreador de mecanismo de pesquisa pode acessar qualquer página da web desta subpasta ou categoria específica

Você pode criar e modificar seu arquivo Robots.txt da mesma maneira. Basta ser cuidadoso com a sintaxe e formatar o Robots.txt de acordo com as regras prescritas.

Sintaxe Robots.txt

A sintaxe do robots.txt refere-se à linguagem que usamos para formatar e estruturar os arquivos robots.txt. Deixe-nos fornecer informações sobre os termos básicos que compõem a sintaxe do Robots.txt.

User-agent é o rastreador do mecanismo de pesquisa para o qual você fornece instruções de rastreamento, incluindo quais URLs devem ser rastreados e quais não devem.

Disallow é uma meta diretiva de robôs que instrui os agentes de usuário a não rastrear o respectivo URL

Permitir é uma metadiretiva de robôs aplicável apenas ao Googlebot. Ele instrui o rastreador do Google a acessar, rastrear e indexar uma página da web ou subpasta.

O atraso no rastreamento determina o período de tempo em segundos que um rastreador deve esperar antes de rastrear o conteúdo da web. Para constar, o rastreador do Google não segue este comando. De qualquer forma, se necessário, você pode definir a taxa de rastreamento por meio do Google Search Console.

Sitemap especifica a localização do(s) sitemap(s) XML de determinado site. Apenas Google, Ask, Bing e Yahoo reconhecem este comando.

Caracteres especiais, incluindo * , / e $, facilitam a compreensão das diretivas pelos rastreadores. Como o nome já diz, cada um desses caracteres tem um significado especial:

* significa que todos os rastreadores têm permissão/proibição de rastrear o respectivo site. / significa que a diretiva permitir/não permitir é para todas as páginas da web

Fatos rápidos sobre Robots.txt

• ➔ O arquivo Robots.txt de um subdomínio é criado separadamente
• ➔ O nome do arquivo Robots.txt deve ser salvo em letras minúsculas como “robots.txt“ porque diferencia maiúsculas de minúsculas.
• ➔ O arquivo Robots.txt deve ser colocado no diretório de nível superior do site
• ➔ Nem todos os rastreadores (agentes de usuário) suportam o arquivo robots.txt
• ➔ O rastreador do Google pode encontrar URLs bloqueados de sites vinculados
• ➔ O arquivo Robots.txt de cada site é acessível publicamente, o que significa que qualquer pessoa pode acessá-lo

Dica PRO:Em caso de extrema necessidade, use outros métodos de bloqueio de URL, como criptografia de senha e metatags de robôs, em vez do arquivo robots.txt, para evitar o rastreamento de determinadas páginas da web.