Categoría: Desarrollo
Probador de robots.txt
Comprueba si un archivo robots.txt permite o bloquea una ruta para un user-agent
Pega el contenido de robots.txt, un user-agent y una ruta para ver si el rastreo está permitido, y qué regla y grupo coincidieron. Funciona completamente en tu navegador.
Todo lo de esta página se procesa en tu navegador. No se sube nada.
Para qué sirve
Un archivo robots.txt puede contener múltiples grupos de user-agent y reglas Allow y Disallow que se superponen, lo que facilita malinterpretar si una ruta específica está realmente bloqueada. Esta herramienta analiza el texto de robots.txt pegado, selecciona el grupo de user-agent coincidente más específico, y aplica la precedencia de regla-más-específica-gana que usan los rastreadores de Google: la regla coincidente con la ruta más larga gana, y un Allow igual de específico vence a un Disallow igual de específico.
Cómo se usa
- Pega el contenido de robots.txt en el cuadro de entrada.
- Ingresa el user-agent a probar, como * o Googlebot.
- Ingresa la ruta a probar y lee si está permitida, junto con el grupo y la regla coincidentes.
Privacidad
Esta herramienta funciona íntegramente en tu navegador. Lo que introduces nunca se sube, se guarda ni se comparte: al cerrar la pestaña desaparece.
Preguntas frecuentes
- ¿Se envía mi robots.txt a algún sitio?
- No. El análisis y la comparación se ejecutan por completo en JavaScript dentro de la pestaña de tu navegador.
- ¿Qué pasa si ninguna regla coincide con la ruta?
- La ruta se permite de forma predeterminada, lo que refleja cómo tratan los rastreadores reales a robots.txt: solo las reglas Disallow explícitas restringen el acceso.
- ¿Qué regla de precedencia usa?
- Regla-más-específica-gana: entre las reglas que coinciden con una ruta, se aplica la que tiene la cadena de ruta más larga. Si dos reglas de igual longitud no coinciden entre sí, la herramienta sigue el comportamiento documentado de Google y prefiere el Allow menos restrictivo.