Categoría: Desarrollo
Generador de robots.txt
Genera un archivo robots.txt con reglas allow, disallow y sitemap
Define un user-agent, rutas allow y disallow, un crawl-delay opcional y una URL de sitemap para generar un archivo robots.txt listo para usar. Funciona completamente en tu navegador.
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
Todo lo de esta página se procesa en tu navegador. No se sube nada.
Para qué sirve
Un archivo robots.txt indica a los rastreadores de los motores de búsqueda qué partes de un sitio pueden y no pueden solicitar, y puede señalarles un sitemap. Este generador construye un archivo con el formato estándar a partir de un user-agent, una lista de rutas permitidas, una lista de rutas no permitidas, un crawl-delay opcional y una URL de sitemap.
Cómo se usa
- Define el user-agent, o déjalo como * para que coincida con todos los rastreadores.
- Lista las rutas permitidas y no permitidas, una por línea, y añade una URL de sitemap.
- Copia el robots.txt generado en la raíz de tu sitio.
Privacidad
Esta herramienta funciona íntegramente en tu navegador. Lo que introduces nunca se sube, se guarda ni se comparte: al cerrar la pestaña desaparece.
Preguntas frecuentes
- ¿Se envía algo sobre mi sitio a algún lugar?
- No. El archivo se genera a partir de tus datos con JavaScript que se ejecuta en la página, así que no se sube nada.
- ¿Dónde debe estar el robots.txt?
- En la raíz de tu dominio, como https://example.com/robots.txt, para que los rastreadores puedan encontrarlo antes de solicitar otras páginas.
- ¿Todos los rastreadores respetan crawl-delay?
- No. Crawl-delay es una convención ampliamente admitida pero no un estándar formal, así que algunos rastreadores lo ignoran por completo.