Kategorie: Entwicklung
robots.txt Tester
Check whether robots.txt allows or blocks a path
robots.txt einfügen, User-Agent und Pfad eingeben und sehen, ob Crawling nach passender Regel erlaubt ist. Wird lokal im Browser verarbeitet und nicht an LocalTools übertragen.
Alles auf dieser Seite wird in Ihrem Browser verarbeitet. Nichts wird hochgeladen.
Wozu dieses Werkzeug dient
robots.txt einfügen, User-Agent und Pfad eingeben und sehen, ob Crawling nach passender Regel erlaubt ist. Wird lokal im Browser verarbeitet und nicht an LocalTools übertragen. A robots.txt file can contain multiple user-agent groups and overlapping Allow and Disallow rules, which makes it easy to misjudge whether a specific path is actually blocked. This tool parses the pasted robots.txt text, selects the most specific matching user-agent group, and applies the most-specific-rule-wins precedence that Google's crawlers use: the matching rule with the longest path wins, and an equally specific Allow beats an equally specific Disallow. Wird lokal im Browser verarbeitet und nicht an LocalTools übertragen.
So funktioniert es
- Eingabe einfügen.
- Ergebnis und Hinweise prüfen.
- Ergebnis kopieren.
Datenschutz
Dieses Werkzeug läuft vollständig in Ihrem Browser. Ihre Eingabe wird nie hochgeladen, gespeichert oder weitergegeben – beim Schließen des Tabs ist sie weg.
Häufig gestellte Fragen
- Wie teste ich, ob robots.txt einen Pfad blockiert?
- robots.txt einfügen, User-Agent und Pfad eingeben und sehen, ob Crawling nach passender Regel erlaubt ist. Wird lokal im Browser verarbeitet und nicht an LocalTools übertragen.
- Welche Regel gewinnt, wenn Allow und Disallow beide passen?
- robots.txt einfügen, User-Agent und Pfad eingeben und sehen, ob Crawling nach passender Regel erlaubt ist.
- Kann ich sehen, worauf das Ergebnis basiert?
- Ja. Die Seite zeigt Ergebnis sowie passende Elemente oder relevante Hinweise.
- Wird meine Eingabe hochgeladen?
- Nein. Eingabe, Optionen und Ergebnis werden lokal im Browser verarbeitet.
- Was unterstützt dieses Tool nicht?
- Es ruft keine Live-robots.txt-Datei ab, crawlt die Website nicht, ändert keine Serverdateien, erzeugt keine Robots-Meta-Tags und bildet nicht jede bot-spezifische Implementierung nach; es testet nur die eingefügten Regeln gegen einen User-Agent und Pfad.