Categoria: Sviluppo

Tester robots.txt

Idea internaManca uno strumento?

Verifica se robots.txt consente o blocca un percorso

Incolla robots.txt, inserisci user-agent e percorso, e vedi se la scansione è consentita con il gruppo e la regola corrispondenti. Viene eseguito localmente nel browser e non carica dati su LocalTools.

RisultatoConsentitoGruppo corrispondente*Regola corrispondenteAllow: /admin/public/

Tutto ciò che c'è in questa pagina viene elaborato nel tuo browser. Niente viene caricato.

A cosa serve

Incolla robots.txt, inserisci user-agent e percorso, e vedi se la scansione è consentita con il gruppo e la regola corrispondenti. Viene eseguito localmente nel browser e non carica dati su LocalTools. Un file robots.txt può contenere più gruppi user-agent e regole Allow e Disallow sovrapposte, quindi è facile valutare male se un percorso specifico sia davvero bloccato. Questo strumento analizza il testo robots.txt incollato, seleziona il gruppo user-agent corrispondente più specifico e applica la precedenza della regola più specifica usata dai crawler di Google: vince la regola corrispondente con il percorso più lungo, e un Allow altrettanto specifico prevale su un Disallow altrettanto specifico. Viene eseguito localmente nel browser e non carica dati su LocalTools.

Come si usa

  1. Incolla il contenuto.
  2. Controlla il risultato e gli eventuali avvisi.
  3. Copia il risultato.

Privacy

Questo strumento funziona interamente nel tuo browser. Quello che inserisci non viene mai caricato, salvato o condiviso: chiudendo la scheda sparisce.

Domande frequenti

Come verifico se robots.txt blocca un percorso?
Incolla robots.txt, inserisci user-agent e percorso, e vedi se la scansione è consentita con il gruppo e la regola corrispondenti. Viene eseguito localmente nel browser e non carica dati su LocalTools.
Quale regola vince quando Allow e Disallow corrispondono entrambe?
Incolla robots.txt, inserisci user-agent e percorso, e vedi se la scansione è consentita con il gruppo e la regola corrispondenti.
Posso vedere da cosa è stato ottenuto il risultato?
Sì. La pagina mostra il risultato insieme agli elementi trovati o agli avvisi pertinenti.
Il mio contenuto viene caricato?
No. Contenuto inserito, impostazioni e risultato vengono elaborati localmente nel browser.
Che cosa non supporta questo strumento?
Non recupera un file robots.txt online, non esplora il sito, non modifica file del server, non genera meta tag robots e non modella ogni implementazione specifica dei crawler; testa solo le regole incollate rispetto a un user-agent e a un percorso.