Categoria: Desenvolvimento

Gerador de robots.txt

Ideia nossaFalta uma ferramenta?

Crie um arquivo robots.txt com regras compartilhadas e presets de robôs

Gere robots.txt com User-agent, Allow, Disallow, Crawl-delay, um Sitemap e presets para robôs de busca, sociais, IA e SEO.

robots.txt

Aplica-se ao grupo padrão e a qualquer rastreador definido como Permitir ou Bloquear abaixo. O Google ignora o Crawl-delay; Bing, Yandex e a maioria dos outros o respeitam.

Diretórios restritos são bloqueados sempre que o acesso é Permitir. Um rastreador que você bloqueia por completo já está bloqueado, então ali eles não têm efeito extra.

Regras por rastreador

"Igual ao padrão" faz o rastreador seguir o grupo padrão acima. "Permitir" ou "Bloquear" cria um bloco User-agent próprio com os caminhos e o crawl-delay definidos acima.

Mecanismos de busca

Prévias de redes sociais

Rastreadores de IA

Rastreadores de SEO

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Tudo nesta página é processado no seu navegador. Nada é enviado.

Para que serve

Este gerador de robots.txt monta o conteúdo do arquivo no navegador. Você pode configurar o grupo User-agent: *, permitir ou bloquear por padrão, adicionar caminhos Disallow e Allow, Crawl-delay opcional, um Sitemap, um User-agent personalizado e 14 presets de rastreadores. Os presets cobrem busca, redes sociais, IA e SEO, incluindo Googlebot, Bingbot, GPTBot, Google-Extended, CCBot e AhrefsBot. Um robô em default fica fora do arquivo e segue o grupo geral. As mesmas listas Allow e Disallow são repetidas em todos os grupos gerados, então não há caminhos diferentes para cada robô. É possível copiar o resultado ou baixar robots.txt. A ferramenta não testa URLs, não valida sintaxe, não importa um arquivo existente, não publica, não envia ao Google, não valida caminhos, não aceita mais de um Sitemap nem gera meta robots, X-Robots-Tag, Noindex, Host ou Clean-param. Crawl-delay é escrito como digitado e é ignorado pelo Googlebot. Tudo fica no navegador.

Como usar

  1. Escolha permitir ou bloquear por padrão e informe caminhos Allow ou Disallow compartilhados.
  2. Adicione Crawl-delay, um Sitemap, um User-agent personalizado ou ajustes nos robôs predefinidos.
  3. Revise o robots.txt, copie ou baixe o arquivo e coloque-o na raiz do seu site.

Privacidade

Esta ferramenta roda inteiramente no seu navegador. O que você digita nunca é enviado, salvo ou compartilhado — fechar a aba já remove tudo.

Perguntas frequentes

Onde devo colocar o robots.txt?
O arquivo deve ficar na raiz do seu site. LocalTools apenas gera, copia ou baixa o conteúdo; você faz a publicação.
O robots.txt impede totalmente o acesso a páginas?
Não. Ele orienta rastreadores, mas não é controle de acesso e não garante remoção do índice. A ferramenta não gera noindex.
Preciso ter um robots.txt?
Nem sempre. Use quando quiser declarar regras de rastreamento, sitemap ou preferências para robôs específicos.
Posso definir caminhos diferentes para cada robô?
Não. As escolhas por robô permitem allow, block ou default, mas as listas de caminhos são compartilhadas.
Posso adicionar mais de um Sitemap?
Não. O gerador escreve no máximo uma linha Sitemap e não valida a URL informada.