Categoria: Sviluppo

Generatore robots.txt

Idea internaManca uno strumento?

Crea un file robots.txt con regole condivise e preimpostazioni del crawler

Genera robots.txt localmente con User-agent, Consenti, Disallow, Crawl-delay, una Sitemap e preimpostazioni per crawler di ricerca, social, AI e SEO.

robots.txt

Si applica al gruppo predefinito e a qualsiasi crawler impostato su Consenti o Blocca qui sotto. Google ignora Crawl-delay; Bing, Yandex e la maggior parte degli altri lo rispettano.

Le directory limitate vengono bloccate ovunque l'accesso sia impostato su Consenti. Un crawler che blocchi del tutto è già bloccato, quindi lì non hanno alcun effetto aggiuntivo.

Regole per singolo crawler

"Come predefinito" fa seguire al crawler il gruppo predefinito sopra. "Consenti" o "Blocca" gli assegna un proprio blocco User-agent con i percorsi e il crawl-delay impostati sopra.

Motori di ricerca

Anteprime social

Crawler IA

Crawler SEO

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Tutto ciò che c'è in questa pagina viene elaborato nel tuo browser. Niente viene caricato.

A cosa serve

Questo generatore robots.txt crea il corpo del file nel tuo browser. Configura l'agente utente: * gruppo, comportamento predefinito di autorizzazione o blocco, percorsi non consentiti, percorsi consentiti, ritardo scansione opzionale, un URL mappa del sito, un agente utente personalizzato e 14 preimpostazioni fisse del crawler. Le preimpostazioni coprono crawler di ricerca, social, AI e SEO come Googlebot, Bingbot, GPTBot, Google-Extended, CCBot e AhrefsBot. Un crawler impostato su predefinito viene omesso e rientra nel gruppo di caratteri jolly. Gli stessi percorsi Consenti e Non consenti vengono ripetuti in ogni gruppo generato, pertanto lo strumento non può applicare una regola di percorso a un solo crawler. Puoi copiare l'output o scaricare robots.txt dall'URL di un oggetto BLOB. Lo strumento non testa, convalida, simula la corrispondenza, recupera un robots.txt esistente, pubblica sul tuo sito, invia agli strumenti per i webmaster, convalida percorsi, aggiunge più righe della Sitemap o genera meta tag robots, X-Robots-Tag, Noindex, Host o direttive Clean-param. Il ritardo di scansione viene scritto esattamente come digitato e viene ignorato da Googlebot. Le impostazioni rimangono nel browser.

Come si usa

  1. Scegli la modalità di accesso predefinita e inserisci eventuali percorsi Consenti o Non consenti condivisi.
  2. Aggiungi il ritardo di scansione, un URL della mappa del sito, uno user-agent personalizzato o sostituzioni preimpostate del crawler, se necessario.
  3. Esamina il file robots.txt generato, quindi copialo o scarica il file per la root del tuo sito.

Privacy

Questo strumento funziona interamente nel tuo browser. Quello che inserisci non viene mai caricato, salvato o condiviso: chiudendo la scheda sparisce.

Domande frequenti

Come definisco lo User-agent?
Il carattere jolly User-agent: * group viene sempre generato. Puoi aggiungere un agente utente personalizzato e scegliere Consenti, Blocca o Impostazione predefinita per le preimpostazioni fisse del crawler.
Come dovrei utilizzare la direttiva Disallow?
Inserisci un percorso per riga. LocalTools taglia le righe vuote e scrive una riga Disallow per ciascun percorso, ma non convalida i percorsi né simula la corrispondenza.
Posso aggiungere la mia Sitemap a robots.txt?
Sì, è possibile aggiungere una riga della Sitemap alla fine. Lo strumento non convalida l'URL della mappa del sito e non supporta più righe della mappa del sito.
Come faccio ad aggiungere il file robots.txt generato al mio sito web?
Copia o scarica il file e posizionalo nella root del tuo sito. LocalTools non lo carica, lo pubblica o lo invia per te.
Posso impostare un Disallow diverso per un solo crawler?
No. Le preimpostazioni del crawler possono essere consentite, bloccate o omesse, ma gli stessi elenchi di percorsi Consenti e Non consentiti vengono ripetuti in ciascun gruppo generato.