Categoria: Desenvolvimento
Gerador de robots.txt
Gere um arquivo robots.txt com regras de allow, disallow e sitemap
Defina um user-agent, caminhos allow e disallow, um crawl-delay opcional e uma URL de sitemap para gerar um arquivo robots.txt pronto para uso. Funciona totalmente no seu navegador.
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
Tudo nesta página é processado no seu navegador. Nada é enviado.
Para que serve
Um arquivo robots.txt informa aos rastreadores de mecanismos de busca quais partes de um site eles podem e não podem requisitar, além de poder apontá-los para um sitemap. Este gerador monta um arquivo no formato padrão a partir de um user-agent, uma lista de caminhos permitidos, uma lista de caminhos bloqueados, um crawl-delay opcional e uma URL de sitemap.
Como usar
- Defina o user-agent, ou deixe como * para corresponder a todos os rastreadores.
- Liste os caminhos permitidos e bloqueados, um por linha, e adicione uma URL de sitemap.
- Copie o robots.txt gerado para a raiz do seu site.
Privacidade
Esta ferramenta roda inteiramente no seu navegador. O que você digita nunca é enviado, salvo ou compartilhado — fechar a aba já remove tudo.
Perguntas frequentes
- Alguma informação sobre meu site é enviada para algum lugar?
- Não. O arquivo é montado a partir das suas entradas em JavaScript executado na página, então nada é enviado.
- Onde o robots.txt precisa ficar?
- Na raiz do seu domínio, como https://example.com/robots.txt, para que os rastreadores o encontrem antes de requisitar outras páginas.
- Todos os rastreadores respeitam o crawl-delay?
- Não. Crawl-delay é uma convenção amplamente suportada, mas não um padrão formal, então alguns rastreadores o ignoram completamente.