Categoría: Desarrollo

Generador de robots.txt

Idea propia¿Falta una herramienta?

Crea un archivo robots.txt con reglas compartidas y presets de bots

Genera robots.txt con User-agent, Allow, Disallow, Crawl-delay, un Sitemap y presets para robots de búsqueda, sociales, IA y SEO.

robots.txt

Se aplica al grupo predeterminado y a cualquier rastreador con Permitir o Bloquear más abajo. Google ignora Crawl-delay; Bing, Yandex y la mayoría de los demás lo respetan.

Los directorios restringidos se bloquean siempre que el acceso sea Permitir. Un rastreador que bloqueas por completo ya está bloqueado, así que ahí no tienen efecto adicional.

Reglas por rastreador

"Igual que el predeterminado" hace que un rastreador siga el grupo predeterminado de arriba. "Permitir" o "Bloquear" le da su propio bloque User-agent con las rutas y el crawl-delay definidos arriba.

Motores de búsqueda

Vistas previas de redes sociales

Rastreadores de IA

Rastreadores SEO

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Todo lo de esta página se procesa en tu navegador. No se sube nada.

Para qué sirve

Este generador de robots.txt crea el contenido del archivo en el navegador. Puedes definir la regla general User-agent: *, elegir permitir o bloquear por defecto, añadir rutas Disallow y Allow, un Crawl-delay opcional, un Sitemap, un User-agent personalizado y 14 presets de rastreadores. Los presets cubren búsqueda, redes sociales, IA y SEO, como Googlebot, Bingbot, GPTBot, Google-Extended, CCBot y AhrefsBot. Si un robot queda en default, no se escribe y hereda el grupo general. Las mismas rutas Allow y Disallow se repiten en cada grupo generado, por lo que no hay reglas de ruta distintas por robot. Puedes copiar el resultado o descargar robots.txt. La herramienta no prueba URLs, no valida sintaxis, no importa un robots.txt existente, no publica ni sube el archivo, no lo envía a buscadores, no valida rutas, no admite más de un Sitemap ni genera meta robots, X-Robots-Tag, Noindex, Host o Clean-param. Crawl-delay se escribe tal cual y Googlebot lo ignora. Todo queda en el navegador.

Cómo se usa

  1. Elige permitir o bloquear por defecto y escribe rutas Allow o Disallow compartidas.
  2. Añade Crawl-delay, un Sitemap, un User-agent personalizado o cambios para bots predefinidos.
  3. Revisa el robots.txt generado, cópialo o descárgalo y súbelo tú a la raíz del sitio.

Privacidad

Esta herramienta funciona íntegramente en tu navegador. Lo que introduces nunca se sube, se guarda ni se comparte: al cerrar la pestaña desaparece.

Preguntas frecuentes

¿Dónde debo subir el archivo robots.txt?
Debe colocarse en la raíz de tu sitio. LocalTools solo genera, copia o descarga el archivo; no lo publica por ti.
¿Puedo poner reglas distintas para cada robot?
No para rutas. Puedes permitir, bloquear u omitir bots predefinidos, pero las listas Allow y Disallow son compartidas en todos los grupos.
¿El retardo de rastreo funciona con Google?
No. La herramienta escribe Crawl-delay tal como lo ingreses, pero no lo valida y Googlebot lo ignora.
¿Se puede añadir más de un mapa del sitio?
No. LocalTools admite un solo Sitemap y no verifica si la URL del sitemap existe.
¿Se envían mis rutas a un servidor?
No. Las rutas, el Sitemap y las opciones de robots se procesan en el navegador y no se envían a LocalTools.