Catégorie: Développement
Générateur robots.txt
Créer un fichier robots.txt avec règles partagées et presets de robots
Générez robots.txt avec User-agent, Allow, Disallow, Crawl-delay, un Sitemap et des presets pour robots de recherche, sociaux, IA et SEO.
S'applique au groupe par défaut et à tout robot réglé sur Autoriser ou Bloquer ci-dessous. Google ignore Crawl-delay ; Bing, Yandex et la plupart des autres le respectent.
Les répertoires restreints sont bloqués partout où l'accès est Autoriser. Un robot que vous bloquez entièrement est déjà bloqué, donc ils n'y ont aucun effet supplémentaire.
« Identique au défaut » fait suivre au robot le groupe par défaut ci-dessus. « Autoriser » ou « Bloquer » lui donne son propre bloc User-agent avec les chemins et le crawl-delay définis ci-dessus.
Moteurs de recherche
Aperçus des réseaux sociaux
Robots d'IA
Robots SEO
User-agent: * Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
Tout sur cette page est traité dans votre navigateur. Rien n'est envoyé.
À quoi sert cet outil
Ce générateur robots.txt crée le contenu du fichier dans le navigateur. Vous pouvez définir le groupe User-agent: *, choisir autoriser ou bloquer par défaut, ajouter des chemins Disallow et Allow, un Crawl-delay optionnel, un Sitemap, un User-agent personnalisé et 14 presets de robots. Les presets couvrent recherche, réseaux sociaux, IA et SEO, dont Googlebot, Bingbot, GPTBot, Google-Extended, CCBot et AhrefsBot. Un robot réglé sur default n'est pas écrit et hérite du groupe général. Les mêmes chemins Allow et Disallow sont répétés dans chaque groupe généré; il n'y a donc pas de chemins différents par robot. Vous pouvez copier le résultat ou télécharger robots.txt. L'outil ne teste pas les URLs, ne valide pas la syntaxe, n'importe pas de fichier existant, ne publie pas, ne soumet rien aux moteurs, ne valide pas les chemins, n'accepte qu'un Sitemap et ne génère ni meta robots, ni X-Robots-Tag, ni Noindex, Host ou Clean-param. Crawl-delay est écrit tel quel, sans validation, et Googlebot l'ignore. Les réglages restent dans le navigateur.
Mode d'emploi
- Choisissez l'accès par défaut et saisissez les chemins Allow ou Disallow partagés.
- Ajoutez Crawl-delay, un Sitemap, un User-agent personnalisé ou des presets de robots si besoin.
- Vérifiez le robots.txt généré, puis copiez-le ou téléchargez-le pour le placer à la racine du site.
Confidentialité
Cet outil fonctionne entièrement dans votre navigateur. Ce que vous saisissez n'est jamais envoyé, stocké ni partagé : fermer l'onglet suffit à tout effacer.
Questions fréquentes
- Générateur robots.txt est-il vraiment gratuit ?
- La page permet de créer le contenu robots.txt directement dans le navigateur et de le copier ou télécharger, sans connexion à un CMS.
- Mes données sont-elles en sécurité ?
- Oui au sens où les chemins, le Sitemap et les choix de robots restent dans le navigateur; LocalTools ne les reçoit pas.
- Puis-je définir des chemins différents pour chaque robot ?
- Non. Les presets peuvent être autorisés, bloqués ou ignorés, mais les mêmes listes Allow et Disallow sont répétées partout.
- Puis-je indiquer plusieurs sitemaps ?
- Non. LocalTools prend en charge une seule ligne Sitemap et ne vérifie pas si l'URL répond.
- Où dois-je placer le fichier robots.txt ?
- À la racine de votre propre site. LocalTools ne publie pas le fichier et ne le soumet pas aux moteurs de recherche.