Categoria: Desenvolvimento
Testador de robots.txt
Verifique se um arquivo robots.txt permite ou bloqueia um caminho para um user-agent
Cole o conteúdo do robots.txt, um user-agent e um caminho para ver se o rastreamento é permitido, e qual regra e grupo corresponderam. Funciona totalmente no seu navegador.
Tudo nesta página é processado no seu navegador. Nada é enviado.
Para que serve
Um arquivo robots.txt pode conter vários grupos de user-agent e regras de Allow e Disallow sobrepostas, o que torna fácil errar ao julgar se um caminho específico está de fato bloqueado. Esta ferramenta analisa o texto colado do robots.txt, seleciona o grupo de user-agent correspondente mais específico e aplica a precedência de regra-mais-específica-vence usada pelos rastreadores do Google: a regra correspondente com o caminho mais longo vence, e um Allow igualmente específico vence um Disallow igualmente específico.
Como usar
- Cole o conteúdo do robots.txt na caixa de entrada.
- Digite o user-agent a ser testado, como * ou Googlebot.
- Digite o caminho a ser testado e veja se ele é permitido, junto com o grupo e a regra correspondentes.
Privacidade
Esta ferramenta roda inteiramente no seu navegador. O que você digita nunca é enviado, salvo ou compartilhado — fechar a aba já remove tudo.
Perguntas frequentes
- Meu robots.txt é enviado para algum lugar?
- Não. A análise e a correspondência acontecem inteiramente em JavaScript na aba do seu navegador.
- O que acontece se nenhuma regra corresponder ao caminho?
- O caminho é permitido por padrão, o que reflete como os rastreadores reais tratam o robots.txt: apenas regras Disallow explícitas restringem o acesso.
- Qual regra de precedência esta ferramenta usa?
- Regra-mais-específica-vence: entre as regras que correspondem a um caminho, a que tiver a string de caminho mais longa se aplica. Se duas regras de comprimento igual divergirem, a ferramenta segue o comportamento documentado do Google e prefere a regra Allow menos restritiva.