Kategori: Alat pengembang

Pembuat robots.txt

Ide kami sendiriAlatnya tidak ada?

Buat file robots.txt dengan aturan bersama dan preset crawler

Hasilkan robots.txt secara lokal dengan Agen Pengguna, Izinkan, Larang, Penundaan Perayapan, satu Peta Situs, dan preset untuk perayap penelusuran, sosial, AI, dan SEO.

robots.txt

Berlaku untuk grup default dan crawler mana pun yang diatur ke Izinkan atau Blokir di bawah. Google mengabaikan Crawl-delay; Bing, Yandex, dan sebagian besar lainnya mematuhinya.

Direktori terbatas diblokir di mana pun aksesnya Izinkan. Crawler yang Anda blokir sepenuhnya sudah terblokir, jadi di sana tidak ada efek tambahan.

Aturan per crawler

"Sama seperti default" membuat crawler mengikuti grup default di atas. "Izinkan" atau "Blokir" memberinya blok User-agent sendiri dengan jalur dan crawl-delay yang diatur di atas.

Mesin pencari

Pratinjau tautan media sosial

Crawler AI

Crawler SEO

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Semua yang ada di halaman ini diproses di peramban Anda. Tidak ada yang diunggah.

Apa fungsi alat ini

Generator robots.txt ini membuat badan file di browser Anda. Konfigurasikan Grup Agen Pengguna: *, perilaku izinkan atau blokir default, Jalur Larang, Jalur Izinkan, Penundaan Perayapan opsional, satu URL Peta Situs, satu agen pengguna khusus, dan 14 preset perayap tetap. Presetnya mencakup perayap penelusuran, sosial, AI, dan SEO seperti Googlebot, Bingbot, GPTBot, Google-Exended, CCBot, dan AhrefsBot. Perayap yang disetel ke default dihilangkan dan dimasukkan ke grup karakter pengganti. Jalur Izinkan dan Larang yang sama diulangi di setiap grup yang dihasilkan, sehingga alat tidak dapat mencakup satu aturan jalur ke satu crawler saja. Anda dapat menyalin output atau mengunduh robots.txt dari URL objek Blob. Alat ini tidak menguji, memvalidasi, mensimulasikan pencocokan, mengambil robots.txt yang ada, memublikasikan ke situs Anda, mengirimkan ke alat webmaster, memvalidasi jalur, menambahkan beberapa baris Peta Situs atau menghasilkan tag meta robot, arahan X-Robots-Tag, Noindex, Host, atau Clean-param. Penundaan perayapan ditulis persis seperti yang diketik dan diabaikan oleh Googlebot. Pengaturan tetap di browser.

Cara memakainya

  1. Pilih mode akses default dan masukkan jalur Izinkan atau Larang yang dibagikan.
  2. Tambahkan Penundaan Perayapan, satu URL Peta Situs, agen pengguna khusus, atau penggantian prasetel perayap jika diperlukan.
  3. Tinjau robots.txt yang dihasilkan, lalu salin atau unduh file untuk root situs Anda.

Privasi

Alat ini berjalan sepenuhnya di peramban Anda. Masukan Anda tidak pernah diunggah, disimpan, atau dibagikan — menutup tab akan menghapusnya.

Pertanyaan yang sering diajukan

Bagaimana cara mendefinisikan Agen Pengguna?
Grup Agen Pengguna: * wildcard selalu dibuat. Anda dapat menambahkan satu agen pengguna khusus dan memilih izinkan, blokir, atau default untuk preset perayap tetap.
Bagaimana cara menggunakan direktif Disallow?
Masukkan satu jalur per baris. LocalTools memangkas baris kosong dan menulis satu baris Disallow untuk setiap jalur, namun tidak memvalidasi jalur atau mensimulasikan pencocokan.
Bisakah saya menambahkan Peta Situs saya ke robots.txt?
Ya, satu baris Peta Situs dapat ditambahkan di bagian akhir. Alat ini tidak memvalidasi URL peta situs dan tidak mendukung beberapa baris peta situs.
Bagaimana cara menambahkan file robots.txt yang dihasilkan ke situs web saya?
Salin atau unduh file dan letakkan di root situs Anda sendiri. LocalTools tidak mengunggah, menerbitkan, atau mengirimkannya untuk Anda.
Dapatkah saya menetapkan Larang yang berbeda hanya untuk satu perayap?
Tidak. Prasetel perayap dapat diizinkan, diblokir, atau dihilangkan, tetapi daftar jalur Izinkan dan Larang yang sama diulangi di setiap grup yang dihasilkan.