Tester di robots.txt

A cosa serve

Un file robots.txt può contenere più gruppi di user-agent e regole Allow e Disallow sovrapposte, il che rende facile giudicare male se un percorso specifico è effettivamente bloccato. Questo strumento analizza il testo di robots.txt incollato, seleziona il gruppo di user-agent più specifico corrispondente e applica la precedenza della regola più specifica usata dai crawler di Google: la regola corrispondente con il percorso più lungo vince, e un Allow altrettanto specifico batte un Disallow altrettanto specifico.

Come si usa

1. Incolla il contenuto di robots.txt nella casella di input.
2. Inserisci lo user-agent da testare, come * o Googlebot.
3. Inserisci il percorso da testare e leggi se è consentito, insieme al gruppo e alla regola corrispondenti.

Privacy

Questo strumento funziona interamente nel tuo browser. Quello che inserisci non viene mai caricato, salvato o condiviso: chiudendo la scheda sparisce.

Domande frequenti

Il mio robots.txt viene inviato da qualche parte?

No. L'analisi e la corrispondenza avvengono interamente in JavaScript nella scheda del tuo browser.

Cosa succede se nessuna regola corrisponde al percorso?

Il percorso è consentito per impostazione predefinita, il che rispecchia il comportamento reale dei crawler verso robots.txt: solo le regole Disallow esplicite limitano l'accesso.

Quale regola di precedenza viene usata?

La regola più specifica vince: tra le regole che corrispondono a un percorso, si applica quella con la stringa di percorso più lunga. Se due regole di uguale lunghezza sono in conflitto, lo strumento segue il comportamento documentato di Google e preferisce la regola Allow meno restrittiva.