Catégorie: Développement

testeur robots.txt

Idée interneUn outil manque ?

Check whether robots.txt allows or blocks a path

Collez robots.txt, indiquez user-agent et chemin, puis voyez si l’exploration est autorisée avec la règle trouvée. Traité localement dans le navigateur et non envoyé à LocalTools.

RésultatAutoriséGroupe correspondant*Règle correspondanteAllow: /admin/public/

Tout sur cette page est traité dans votre navigateur. Rien n'est envoyé.

À quoi sert cet outil

Collez robots.txt, indiquez user-agent et chemin, puis voyez si l’exploration est autorisée avec la règle trouvée. Traité localement dans le navigateur et non envoyé à LocalTools. A robots.txt file can contain multiple user-agent groups and overlapping Allow and Disallow rules, which makes it easy to misjudge whether a specific path is actually blocked. This tool parses the pasted robots.txt text, selects the most specific matching user-agent group, and applies the most-specific-rule-wins precedence that Google's crawlers use: the matching rule with the longest path wins, and an equally specific Allow beats an equally specific Disallow. Traité localement dans le navigateur et non envoyé à LocalTools.

Mode d'emploi

  1. Collez l’entrée.
  2. Vérifiez le résultat et les alertes.
  3. Copiez le résultat.

Confidentialité

Cet outil fonctionne entièrement dans votre navigateur. Ce que vous saisissez n'est jamais envoyé, stocké ni partagé : fermer l'onglet suffit à tout effacer.

Questions fréquentes

Comment tester si robots.txt bloque un chemin ?
Collez robots.txt, indiquez user-agent et chemin, puis voyez si l’exploration est autorisée avec la règle trouvée. Traité localement dans le navigateur et non envoyé à LocalTools.
Quelle règle gagne quand Allow et Disallow correspondent toutes les deux ?
Collez robots.txt, indiquez user-agent et chemin, puis voyez si l’exploration est autorisée avec la règle trouvée.
Puis-je voir ce qui a servi au résultat ?
Oui. La page affiche le résultat et les éléments correspondants ou alertes utiles.
Mon entrée est-elle téléversée ?
Non. L’entrée, les options et le résultat sont traités localement dans le navigateur.
Que ne prend pas en charge cet outil ?
Il ne récupère pas de fichier robots.txt en ligne, n’explore pas le site, ne modifie pas les fichiers serveur, ne génère pas de balises meta robots et ne reproduit pas chaque implémentation propre à un robot ; il teste seulement les règles collées avec un user-agent et un chemin.