Categoria: Desenvolvimento

testador de robots.txt

Ideia nossaFalta uma ferramenta?

Check whether robots.txt allows or blocks a path

Cole robots.txt, informe user-agent e caminho e veja se o rastreamento é permitido com a regra correspondente. Processado localmente no navegador e não enviado ao LocalTools.

ResultadoPermitidoGrupo correspondente*Regra correspondenteAllow: /admin/public/

Tudo nesta página é processado no seu navegador. Nada é enviado.

Para que serve

Cole robots.txt, informe user-agent e caminho e veja se o rastreamento é permitido com a regra correspondente. Processado localmente no navegador e não enviado ao LocalTools. A robots.txt file can contain multiple user-agent groups and overlapping Allow and Disallow rules, which makes it easy to misjudge whether a specific path is actually blocked. This tool parses the pasted robots.txt text, selects the most specific matching user-agent group, and applies the most-specific-rule-wins precedence that Google's crawlers use: the matching rule with the longest path wins, and an equally specific Allow beats an equally specific Disallow. Processado localmente no navegador e não enviado ao LocalTools.

Como usar

  1. Cole a entrada.
  2. Confira o resultado e os avisos.
  3. Copie o resultado.

Privacidade

Esta ferramenta roda inteiramente no seu navegador. O que você digita nunca é enviado, salvo ou compartilhado — fechar a aba já remove tudo.

Perguntas frequentes

Como testar se o robots.txt bloqueia um caminho?
Cole robots.txt, informe user-agent e caminho e veja se o rastreamento é permitido com a regra correspondente. Processado localmente no navegador e não enviado ao LocalTools.
Qual regra vence quando Allow e Disallow coincidem?
Cole robots.txt, informe user-agent e caminho e veja se o rastreamento é permitido com a regra correspondente.
Posso ver o que gerou o resultado?
Sim. A página mostra o resultado e os itens correspondentes ou avisos relevantes.
Minha entrada é enviada?
Não. Entrada, opções e resultado são processados localmente no navegador.
O que esta ferramenta não suporta?
Não busca um robots.txt ativo, não rastreia o site, não altera arquivos do servidor, não gera tags meta robots nem reproduz cada implementação específica de bot; apenas testa as regras coladas contra um user-agent e um caminho.