Kategorie: Entwicklung
Robots.txt-Tester
Prüfen, ob eine robots.txt-Datei einen Pfad für einen User-Agent erlaubt oder verbietet
Fügen Sie robots.txt-Inhalt, einen User-Agent und einen Pfad ein, um zu sehen, ob das Crawlen erlaubt ist, und welche Regel und Gruppe zutraf. Läuft komplett im Browser.
Alles auf dieser Seite wird in Ihrem Browser verarbeitet. Nichts wird hochgeladen.
Wozu dieses Werkzeug dient
Eine robots.txt-Datei kann mehrere User-Agent-Gruppen sowie sich überschneidende Allow- und Disallow-Regeln enthalten, wodurch leicht falsch eingeschätzt wird, ob ein bestimmter Pfad tatsächlich blockiert ist. Dieses Werkzeug analysiert den eingefügten robots.txt-Text, wählt die spezifischste passende User-Agent-Gruppe aus und wendet die Regel „spezifischste Regel gewinnt“ an, die Googles Crawler verwenden: Die passende Regel mit dem längsten Pfad gewinnt, und ein gleich spezifisches Allow schlägt ein gleich spezifisches Disallow.
So funktioniert es
- Fügen Sie den robots.txt-Inhalt in das Eingabefeld ein.
- Geben Sie den zu testenden User-Agent ein, etwa * oder Googlebot.
- Geben Sie den zu testenden Pfad ein und lesen Sie ab, ob er erlaubt ist, zusammen mit der passenden Gruppe und Regel.
Datenschutz
Dieses Werkzeug läuft vollständig in Ihrem Browser. Ihre Eingabe wird nie hochgeladen, gespeichert oder weitergegeben – beim Schließen des Tabs ist sie weg.
Häufig gestellte Fragen
- Wird meine robots.txt irgendwohin gesendet?
- Nein. Das Parsen und Abgleichen läuft vollständig in JavaScript in Ihrem Browser-Tab.
- Was passiert, wenn keine Regel auf den Pfad zutrifft?
- Der Pfad ist standardmäßig erlaubt, was widerspiegelt, wie echte Crawler robots.txt behandeln: Nur explizite Disallow-Regeln schränken den Zugriff ein.
- Welche Vorrangregel wird verwendet?
- Spezifischste Regel gewinnt: Von den Regeln, die auf einen Pfad zutreffen, gilt die mit der längsten Pfadzeichenfolge. Widersprechen sich zwei gleich lange Regeln, folgt das Werkzeug Googles dokumentiertem Verhalten und bevorzugt die weniger restriktive Allow-Regel.