Categoría: Desarrollo

probador de robots.txt

Idea propia¿Falta una herramienta?

Check whether robots.txt allows or blocks a path

Pega robots.txt, introduce user-agent y ruta, y comprueba si el rastreo está permitido con la regla coincidente. Se procesa localmente en tu navegador y no se sube a LocalTools.

ResultadoPermitidaGrupo coincidente*Regla coincidenteAllow: /admin/public/

Todo lo de esta página se procesa en tu navegador. No se sube nada.

Para qué sirve

Pega robots.txt, introduce user-agent y ruta, y comprueba si el rastreo está permitido con la regla coincidente. Se procesa localmente en tu navegador y no se sube a LocalTools. A robots.txt file can contain multiple user-agent groups and overlapping Allow and Disallow rules, which makes it easy to misjudge whether a specific path is actually blocked. This tool parses the pasted robots.txt text, selects the most specific matching user-agent group, and applies the most-specific-rule-wins precedence that Google's crawlers use: the matching rule with the longest path wins, and an equally specific Allow beats an equally specific Disallow. Se procesa localmente en tu navegador y no se sube a LocalTools.

Cómo se usa

  1. Pega la entrada.
  2. Revisa el resultado y los avisos.
  3. Copia el resultado.

Privacidad

Esta herramienta funciona íntegramente en tu navegador. Lo que introduces nunca se sube, se guarda ni se comparte: al cerrar la pestaña desaparece.

Preguntas frecuentes

¿Cómo pruebo si robots.txt bloquea una ruta?
Pega robots.txt, introduce user-agent y ruta, y comprueba si el rastreo está permitido con la regla coincidente. Se procesa localmente en tu navegador y no se sube a LocalTools.
¿Qué regla gana cuando Allow y Disallow coinciden?
Pega robots.txt, introduce user-agent y ruta, y comprueba si el rastreo está permitido con la regla coincidente.
¿Puedo ver en qué se basó el resultado?
Sí. La página muestra el resultado y los elementos coincidentes o avisos relevantes.
¿Se sube mi entrada?
No. La entrada, opciones y resultado se procesan localmente en tu navegador.
¿Qué no admite esta herramienta?
No obtiene un robots.txt activo, rastrea el sitio, cambia archivos del servidor, genera metaetiquetas robots ni reproduce cada implementación específica de bot; solo prueba las reglas pegadas con un user-agent y una ruta.