Catégorie: Développement
Générateur de robots.txt
Générez un fichier robots.txt avec des règles allow, disallow et sitemap
Définissez un user-agent, des chemins allow et disallow, un crawl-delay optionnel et une URL de sitemap pour générer un fichier robots.txt prêt à l'emploi. Fonctionne entièrement dans votre navigateur.
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
Tout sur cette page est traité dans votre navigateur. Rien n'est envoyé.
À quoi sert cet outil
Un fichier robots.txt indique aux robots des moteurs de recherche quelles parties d'un site ils peuvent ou non explorer, et peut les orienter vers un sitemap. Ce générateur construit un fichier au format standard à partir d'un user-agent, d'une liste de chemins autorisés, d'une liste de chemins interdits, d'un crawl-delay optionnel et d'une URL de sitemap.
Mode d'emploi
- Définissez le user-agent, ou laissez * pour cibler tous les robots.
- Listez les chemins autorisés et interdits, un par ligne, et ajoutez une URL de sitemap.
- Copiez le robots.txt généré à la racine de votre site.
Confidentialité
Cet outil fonctionne entièrement dans votre navigateur. Ce que vous saisissez n'est jamais envoyé, stocké ni partagé : fermer l'onglet suffit à tout effacer.
Questions fréquentes
- Des informations sur mon site sont-elles envoyées quelque part ?
- Non. Le fichier est assemblé à partir de vos saisies en JavaScript exécuté dans la page, donc rien n'est téléversé.
- Où le fichier robots.txt doit-il se trouver ?
- À la racine de votre domaine, par exemple https://example.com/robots.txt, afin que les robots puissent le trouver avant de demander d'autres pages.
- Tous les robots respectent-ils crawl-delay ?
- Non. Crawl-delay est une convention largement répandue mais qui n'est pas une norme formelle, donc certains robots l'ignorent complètement.