Kategorie: Entwicklung
Robots.txt-Generator
Eine robots.txt-Datei mit Allow-, Disallow- und Sitemap-Regeln erstellen
Lege User-Agent, erlaubte und gesperrte Pfade, ein optionales Crawl-delay und eine Sitemap-URL fest, um eine einsatzbereite robots.txt-Datei zu erstellen. Läuft komplett im Browser.
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
Alles auf dieser Seite wird in Ihrem Browser verarbeitet. Nichts wird hochgeladen.
Wozu dieses Werkzeug dient
Eine robots.txt-Datei teilt Suchmaschinen-Crawlern mit, welche Teile einer Website sie anfragen dürfen und welche nicht, und kann sie zusätzlich auf eine Sitemap verweisen. Dieser Generator baut aus einem User-Agent, einer Liste erlaubter Pfade, einer Liste gesperrter Pfade, einem optionalen Crawl-delay und einer Sitemap-URL eine Datei nach dem gängigen Format.
So funktioniert es
- Lege den User-Agent fest oder belasse ihn bei *, um alle Crawler zu erfassen.
- Liste erlaubte und gesperrte Pfade auf, einen pro Zeile, und ergänze eine Sitemap-URL.
- Kopiere die erzeugte robots.txt in das Stammverzeichnis deiner Website.
Datenschutz
Dieses Werkzeug läuft vollständig in Ihrem Browser. Ihre Eingabe wird nie hochgeladen, gespeichert oder weitergegeben – beim Schließen des Tabs ist sie weg.
Häufig gestellte Fragen
- Wird etwas über meine Website irgendwohin gesendet?
- Nein. Die Datei wird aus deinen Eingaben durch JavaScript in der Seite zusammengestellt, sodass nichts hochgeladen wird.
- Wo muss robots.txt liegen?
- Im Stammverzeichnis deiner Domain, etwa https://example.com/robots.txt, damit Crawler sie finden, bevor sie andere Seiten anfragen.
- Halten sich alle Crawler an Crawl-delay?
- Nein. Crawl-delay ist eine weit verbreitete Konvention, aber kein formaler Standard, weshalb manche Crawler es vollständig ignorieren.