Categoria: Sviluppo
Generatore Robots.txt
Genera un file robots.txt con regole allow, disallow e sitemap
Imposta uno user-agent, percorsi allow e disallow, un crawl-delay opzionale e un URL di sitemap per generare un file robots.txt pronto all'uso. Funziona interamente nel tuo browser.
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
Tutto ciò che c'è in questa pagina viene elaborato nel tuo browser. Niente viene caricato.
A cosa serve
Un file robots.txt indica ai crawler dei motori di ricerca quali parti di un sito possono e non possono richiedere, e può indicare loro una sitemap. Questo generatore crea un file conforme agli standard a partire da uno user-agent, un elenco di percorsi consentiti, un elenco di percorsi vietati, un crawl-delay opzionale e un URL di sitemap.
Come si usa
- Imposta lo user-agent, oppure lascialo come * per includere ogni crawler.
- Elenca i percorsi consentiti e vietati, uno per riga, e aggiungi un URL di sitemap.
- Copia il robots.txt generato nella radice del tuo sito.
Privacy
Questo strumento funziona interamente nel tuo browser. Quello che inserisci non viene mai caricato, salvato o condiviso: chiudendo la scheda sparisce.
Domande frequenti
- Qualcosa relativo al mio sito viene inviato da qualche parte?
- No. Il file viene creato a partire dai tuoi dati tramite JavaScript in esecuzione nella pagina, quindi non viene caricato nulla.
- Dove deve trovarsi robots.txt?
- Nella radice del tuo dominio, ad esempio https://example.com/robots.txt, in modo che i crawler possano trovarlo prima di richiedere altre pagine.
- Tutti i crawler rispettano crawl-delay?
- No. Crawl-delay è una convenzione ampiamente supportata ma non uno standard formale, quindi alcuni crawler la ignorano completamente.