Kategorie: Entwicklung

robots.txt Generator

Eigene IdeeTool fehlt?

Eine robots.txt Datei mit gemeinsamen Regeln und Crawler-Presets erstellen

robots.txt lokal erzeugen: User-agent, Allow, Disallow, Crawl-delay, eine Sitemap und Presets für Suche, Social, KI und SEO-Crawler.

robots.txt

Gilt für die Standardgruppe und jeden Crawler, der unten auf Erlauben oder Blockieren gesetzt ist. Google ignoriert Crawl-delay; Bing, Yandex und die meisten anderen halten sich daran.

Eingeschränkte Verzeichnisse werden überall dort gesperrt, wo der Zugriff auf Erlauben steht. Ein Crawler, den Sie komplett blockieren, ist ohnehin schon gesperrt, dort haben sie also keine zusätzliche Wirkung.

Crawler-spezifische Regeln

„Wie Standard“ lässt einen Crawler der obigen Standardgruppe folgen. „Erlauben“ oder „Blockieren“ gibt ihm einen eigenen User-Agent-Block mit den oben festgelegten Pfaden und dem Crawl-delay.

Suchmaschinen

Social-Media-Vorschauen

KI-Crawler

SEO-Crawler

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Alles auf dieser Seite wird in Ihrem Browser verarbeitet. Nichts wird hochgeladen.

Wozu dieses Werkzeug dient

Dieser robots.txt Generator erstellt den Dateiinhalt im Browser. Du kannst die User-agent: * Gruppe konfigurieren, standardmäßig erlauben oder blockieren, Disallow- und Allow-Pfade eintragen, optional Crawl-delay, eine Sitemap, einen eigenen User-agent und 14 feste Crawler-Presets setzen. Die Presets decken Suche, Social, KI und SEO ab, etwa Googlebot, Bingbot, GPTBot, Google-Extended, CCBot und AhrefsBot. Ein Crawler auf default wird nicht geschrieben und fällt auf die Wildcard-Gruppe zurück. Dieselben Allow- und Disallow-Pfade werden in jede erzeugte Gruppe übernommen; eigene Pfadlisten pro Crawler gibt es nicht. Du kannst den Inhalt kopieren oder robots.txt herunterladen. Das Tool testet keine URLs, validiert keine Syntax, importiert keine bestehende Datei, veröffentlicht oder übermittelt nichts, prüft keine Pfade, unterstützt nur eine Sitemap und erzeugt keine meta robots, X-Robots-Tag, Noindex-, Host- oder Clean-param-Direktiven. Crawl-delay wird unverändert geschrieben, nicht geprüft und von Googlebot ignoriert. Eingaben bleiben im Browser.

So funktioniert es

  1. Standardzugriff wählen und gemeinsame Allow- oder Disallow-Pfade eintragen.
  2. Bei Bedarf Crawl-delay, eine Sitemap, eigenen User-agent oder Crawler-Presets setzen.
  3. Die erzeugte robots.txt prüfen, kopieren oder herunterladen und selbst im Website-Root ablegen.

Datenschutz

Dieses Werkzeug läuft vollständig in Ihrem Browser. Ihre Eingabe wird nie hochgeladen, gespeichert oder weitergegeben – beim Schließen des Tabs ist sie weg.

Häufig gestellte Fragen

Was ist eine robots.txt?
Eine robots.txt ist eine Datei im Website-Root, mit der du kooperierenden Crawlern mitteilst, welche Bereiche sie crawlen sollen oder nicht.
Welche KI-Crawler kann ich blockieren?
LocalTools enthält feste Presets für GPTBot, Google-Extended und CCBot. Weitere Bots können nur über ein einzelnes eigenes User-agent-Feld ergänzt werden.
Halten sich alle Crawler an die robots.txt?
Nein. Die Datei ist eine Anweisung für kooperierende Crawler, aber kein technischer Zugriffsschutz gegen böswillige oder ignorierende Bots.
Kann ich mehrere Sitemaps angeben?
Nein. Dieses Tool schreibt höchstens eine Sitemap-Zeile und validiert die URL nicht.
Wo muss ich die robots.txt-Datei hochladen?
Du musst sie selbst im Root deiner Website ablegen. LocalTools lädt nichts hoch und sendet nichts an Webmaster-Tools.