Categoria: Sviluppo
Generatore robots.txt
Crea un file robots.txt con regole condivise e preimpostazioni del crawler
Genera robots.txt localmente con User-agent, Consenti, Disallow, Crawl-delay, una Sitemap e preimpostazioni per crawler di ricerca, social, AI e SEO.
Si applica al gruppo predefinito e a qualsiasi crawler impostato su Consenti o Blocca qui sotto. Google ignora Crawl-delay; Bing, Yandex e la maggior parte degli altri lo rispettano.
Le directory limitate vengono bloccate ovunque l'accesso sia impostato su Consenti. Un crawler che blocchi del tutto è già bloccato, quindi lì non hanno alcun effetto aggiuntivo.
"Come predefinito" fa seguire al crawler il gruppo predefinito sopra. "Consenti" o "Blocca" gli assegna un proprio blocco User-agent con i percorsi e il crawl-delay impostati sopra.
Motori di ricerca
Anteprime social
Crawler IA
Crawler SEO
User-agent: * Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
Tutto ciò che c'è in questa pagina viene elaborato nel tuo browser. Niente viene caricato.
A cosa serve
Questo generatore robots.txt crea il corpo del file nel tuo browser. Configura l'agente utente: * gruppo, comportamento predefinito di autorizzazione o blocco, percorsi non consentiti, percorsi consentiti, ritardo scansione opzionale, un URL mappa del sito, un agente utente personalizzato e 14 preimpostazioni fisse del crawler. Le preimpostazioni coprono crawler di ricerca, social, AI e SEO come Googlebot, Bingbot, GPTBot, Google-Extended, CCBot e AhrefsBot. Un crawler impostato su predefinito viene omesso e rientra nel gruppo di caratteri jolly. Gli stessi percorsi Consenti e Non consenti vengono ripetuti in ogni gruppo generato, pertanto lo strumento non può applicare una regola di percorso a un solo crawler. Puoi copiare l'output o scaricare robots.txt dall'URL di un oggetto BLOB. Lo strumento non testa, convalida, simula la corrispondenza, recupera un robots.txt esistente, pubblica sul tuo sito, invia agli strumenti per i webmaster, convalida percorsi, aggiunge più righe della Sitemap o genera meta tag robots, X-Robots-Tag, Noindex, Host o direttive Clean-param. Il ritardo di scansione viene scritto esattamente come digitato e viene ignorato da Googlebot. Le impostazioni rimangono nel browser.
Come si usa
- Scegli la modalità di accesso predefinita e inserisci eventuali percorsi Consenti o Non consenti condivisi.
- Aggiungi il ritardo di scansione, un URL della mappa del sito, uno user-agent personalizzato o sostituzioni preimpostate del crawler, se necessario.
- Esamina il file robots.txt generato, quindi copialo o scarica il file per la root del tuo sito.
Privacy
Questo strumento funziona interamente nel tuo browser. Quello che inserisci non viene mai caricato, salvato o condiviso: chiudendo la scheda sparisce.
Domande frequenti
- Come definisco lo User-agent?
- Il carattere jolly User-agent: * group viene sempre generato. Puoi aggiungere un agente utente personalizzato e scegliere Consenti, Blocca o Impostazione predefinita per le preimpostazioni fisse del crawler.
- Come dovrei utilizzare la direttiva Disallow?
- Inserisci un percorso per riga. LocalTools taglia le righe vuote e scrive una riga Disallow per ciascun percorso, ma non convalida i percorsi né simula la corrispondenza.
- Posso aggiungere la mia Sitemap a robots.txt?
- Sì, è possibile aggiungere una riga della Sitemap alla fine. Lo strumento non convalida l'URL della mappa del sito e non supporta più righe della mappa del sito.
- Come faccio ad aggiungere il file robots.txt generato al mio sito web?
- Copia o scarica il file e posizionalo nella root del tuo sito. LocalTools non lo carica, lo pubblica o lo invia per te.
- Posso impostare un Disallow diverso per un solo crawler?
- No. Le preimpostazioni del crawler possono essere consentite, bloccate o omesse, ma gli stessi elenchi di percorsi Consenti e Non consentiti vengono ripetuti in ciascun gruppo generato.