Categoría: Desarrollo
probador de robots.txt
Check whether robots.txt allows or blocks a path
Pega robots.txt, introduce user-agent y ruta, y comprueba si el rastreo está permitido con la regla coincidente. Se procesa localmente en tu navegador y no se sube a LocalTools.
Todo lo de esta página se procesa en tu navegador. No se sube nada.
Para qué sirve
Pega robots.txt, introduce user-agent y ruta, y comprueba si el rastreo está permitido con la regla coincidente. Se procesa localmente en tu navegador y no se sube a LocalTools. A robots.txt file can contain multiple user-agent groups and overlapping Allow and Disallow rules, which makes it easy to misjudge whether a specific path is actually blocked. This tool parses the pasted robots.txt text, selects the most specific matching user-agent group, and applies the most-specific-rule-wins precedence that Google's crawlers use: the matching rule with the longest path wins, and an equally specific Allow beats an equally specific Disallow. Se procesa localmente en tu navegador y no se sube a LocalTools.
Cómo se usa
- Pega la entrada.
- Revisa el resultado y los avisos.
- Copia el resultado.
Privacidad
Esta herramienta funciona íntegramente en tu navegador. Lo que introduces nunca se sube, se guarda ni se comparte: al cerrar la pestaña desaparece.
Preguntas frecuentes
- ¿Cómo pruebo si robots.txt bloquea una ruta?
- Pega robots.txt, introduce user-agent y ruta, y comprueba si el rastreo está permitido con la regla coincidente. Se procesa localmente en tu navegador y no se sube a LocalTools.
- ¿Qué regla gana cuando Allow y Disallow coinciden?
- Pega robots.txt, introduce user-agent y ruta, y comprueba si el rastreo está permitido con la regla coincidente.
- ¿Puedo ver en qué se basó el resultado?
- Sí. La página muestra el resultado y los elementos coincidentes o avisos relevantes.
- ¿Se sube mi entrada?
- No. La entrada, opciones y resultado se procesan localmente en tu navegador.
- ¿Qué no admite esta herramienta?
- No obtiene un robots.txt activo, rastrea el sitio, cambia archivos del servidor, genera metaetiquetas robots ni reproduce cada implementación específica de bot; solo prueba las reglas pegadas con un user-agent y una ruta.