Catégorie: Développement
Testeur de robots.txt
Vérifiez si un fichier robots.txt autorise ou interdit un chemin pour un user-agent
Collez le contenu d'un robots.txt, un user-agent et un chemin pour voir si l'exploration est autorisée, et quelle règle et quel groupe ont correspondu. Fonctionne entièrement dans votre navigateur.
Tout sur cette page est traité dans votre navigateur. Rien n'est envoyé.
À quoi sert cet outil
Un fichier robots.txt peut contenir plusieurs groupes de user-agent et des règles Allow et Disallow qui se chevauchent, ce qui rend facile de mal juger si un chemin précis est réellement bloqué. Cet outil analyse le texte robots.txt collé, sélectionne le groupe de user-agent le plus spécifique correspondant, et applique la règle de préséance de la règle la plus spécifique utilisée par les robots de Google : la règle correspondante avec le chemin le plus long l'emporte, et un Allow aussi spécifique l'emporte sur un Disallow aussi spécifique.
Mode d'emploi
- Collez le contenu du robots.txt dans la zone de saisie.
- Saisissez le user-agent à tester, comme * ou Googlebot.
- Saisissez le chemin à tester et lisez s'il est autorisé, ainsi que le groupe et la règle correspondants.
Confidentialité
Cet outil fonctionne entièrement dans votre navigateur. Ce que vous saisissez n'est jamais envoyé, stocké ni partagé : fermer l'onglet suffit à tout effacer.
Questions fréquentes
- Mon robots.txt est-il envoyé quelque part ?
- Non. L'analyse et la correspondance s'exécutent entièrement en JavaScript dans l'onglet de votre navigateur.
- Que se passe-t-il si aucune règle ne correspond au chemin ?
- Le chemin est autorisé par défaut, ce qui reflète le comportement réel des robots d'exploration face à robots.txt : seules des règles Disallow explicites restreignent l'accès.
- Quelle règle de préséance est utilisée ?
- La règle la plus spécifique l'emporte : parmi les règles qui correspondent à un chemin, celle dont la chaîne de chemin est la plus longue s'applique. Si deux règles de même longueur se contredisent, l'outil suit le comportement documenté de Google et privilégie la règle Allow, moins restrictive.