Categoria: Sviluppo
Tester robots.txt
Verifica se robots.txt consente o blocca un percorso
Incolla robots.txt, inserisci user-agent e percorso, e vedi se la scansione è consentita con il gruppo e la regola corrispondenti. Viene eseguito localmente nel browser e non carica dati su LocalTools.
Tutto ciò che c'è in questa pagina viene elaborato nel tuo browser. Niente viene caricato.
A cosa serve
Incolla robots.txt, inserisci user-agent e percorso, e vedi se la scansione è consentita con il gruppo e la regola corrispondenti. Viene eseguito localmente nel browser e non carica dati su LocalTools. Un file robots.txt può contenere più gruppi user-agent e regole Allow e Disallow sovrapposte, quindi è facile valutare male se un percorso specifico sia davvero bloccato. Questo strumento analizza il testo robots.txt incollato, seleziona il gruppo user-agent corrispondente più specifico e applica la precedenza della regola più specifica usata dai crawler di Google: vince la regola corrispondente con il percorso più lungo, e un Allow altrettanto specifico prevale su un Disallow altrettanto specifico. Viene eseguito localmente nel browser e non carica dati su LocalTools.
Come si usa
- Incolla il contenuto.
- Controlla il risultato e gli eventuali avvisi.
- Copia il risultato.
Privacy
Questo strumento funziona interamente nel tuo browser. Quello che inserisci non viene mai caricato, salvato o condiviso: chiudendo la scheda sparisce.
Domande frequenti
- Come verifico se robots.txt blocca un percorso?
- Incolla robots.txt, inserisci user-agent e percorso, e vedi se la scansione è consentita con il gruppo e la regola corrispondenti. Viene eseguito localmente nel browser e non carica dati su LocalTools.
- Quale regola vince quando Allow e Disallow corrispondono entrambe?
- Incolla robots.txt, inserisci user-agent e percorso, e vedi se la scansione è consentita con il gruppo e la regola corrispondenti.
- Posso vedere da cosa è stato ottenuto il risultato?
- Sì. La pagina mostra il risultato insieme agli elementi trovati o agli avvisi pertinenti.
- Il mio contenuto viene caricato?
- No. Contenuto inserito, impostazioni e risultato vengono elaborati localmente nel browser.
- Che cosa non supporta questo strumento?
- Non recupera un file robots.txt online, non esplora il sito, non modifica file del server, non genera meta tag robots e non modella ogni implementazione specifica dei crawler; testa solo le regole incollate rispetto a un user-agent e a un percorso.