Kategori: Alat pengembang
Pembuat robots.txt
Buat file robots.txt dengan aturan bersama dan preset crawler
Hasilkan robots.txt secara lokal dengan Agen Pengguna, Izinkan, Larang, Penundaan Perayapan, satu Peta Situs, dan preset untuk perayap penelusuran, sosial, AI, dan SEO.
Berlaku untuk grup default dan crawler mana pun yang diatur ke Izinkan atau Blokir di bawah. Google mengabaikan Crawl-delay; Bing, Yandex, dan sebagian besar lainnya mematuhinya.
Direktori terbatas diblokir di mana pun aksesnya Izinkan. Crawler yang Anda blokir sepenuhnya sudah terblokir, jadi di sana tidak ada efek tambahan.
"Sama seperti default" membuat crawler mengikuti grup default di atas. "Izinkan" atau "Blokir" memberinya blok User-agent sendiri dengan jalur dan crawl-delay yang diatur di atas.
Mesin pencari
Pratinjau tautan media sosial
Crawler AI
Crawler SEO
User-agent: * Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
Semua yang ada di halaman ini diproses di peramban Anda. Tidak ada yang diunggah.
Apa fungsi alat ini
Generator robots.txt ini membuat badan file di browser Anda. Konfigurasikan Grup Agen Pengguna: *, perilaku izinkan atau blokir default, Jalur Larang, Jalur Izinkan, Penundaan Perayapan opsional, satu URL Peta Situs, satu agen pengguna khusus, dan 14 preset perayap tetap. Presetnya mencakup perayap penelusuran, sosial, AI, dan SEO seperti Googlebot, Bingbot, GPTBot, Google-Exended, CCBot, dan AhrefsBot. Perayap yang disetel ke default dihilangkan dan dimasukkan ke grup karakter pengganti. Jalur Izinkan dan Larang yang sama diulangi di setiap grup yang dihasilkan, sehingga alat tidak dapat mencakup satu aturan jalur ke satu crawler saja. Anda dapat menyalin output atau mengunduh robots.txt dari URL objek Blob. Alat ini tidak menguji, memvalidasi, mensimulasikan pencocokan, mengambil robots.txt yang ada, memublikasikan ke situs Anda, mengirimkan ke alat webmaster, memvalidasi jalur, menambahkan beberapa baris Peta Situs atau menghasilkan tag meta robot, arahan X-Robots-Tag, Noindex, Host, atau Clean-param. Penundaan perayapan ditulis persis seperti yang diketik dan diabaikan oleh Googlebot. Pengaturan tetap di browser.
Cara memakainya
- Pilih mode akses default dan masukkan jalur Izinkan atau Larang yang dibagikan.
- Tambahkan Penundaan Perayapan, satu URL Peta Situs, agen pengguna khusus, atau penggantian prasetel perayap jika diperlukan.
- Tinjau robots.txt yang dihasilkan, lalu salin atau unduh file untuk root situs Anda.
Privasi
Alat ini berjalan sepenuhnya di peramban Anda. Masukan Anda tidak pernah diunggah, disimpan, atau dibagikan — menutup tab akan menghapusnya.
Pertanyaan yang sering diajukan
- Bagaimana cara mendefinisikan Agen Pengguna?
- Grup Agen Pengguna: * wildcard selalu dibuat. Anda dapat menambahkan satu agen pengguna khusus dan memilih izinkan, blokir, atau default untuk preset perayap tetap.
- Bagaimana cara menggunakan direktif Disallow?
- Masukkan satu jalur per baris. LocalTools memangkas baris kosong dan menulis satu baris Disallow untuk setiap jalur, namun tidak memvalidasi jalur atau mensimulasikan pencocokan.
- Bisakah saya menambahkan Peta Situs saya ke robots.txt?
- Ya, satu baris Peta Situs dapat ditambahkan di bagian akhir. Alat ini tidak memvalidasi URL peta situs dan tidak mendukung beberapa baris peta situs.
- Bagaimana cara menambahkan file robots.txt yang dihasilkan ke situs web saya?
- Salin atau unduh file dan letakkan di root situs Anda sendiri. LocalTools tidak mengunggah, menerbitkan, atau mengirimkannya untuk Anda.
- Dapatkah saya menetapkan Larang yang berbeda hanya untuk satu perayap?
- Tidak. Prasetel perayap dapat diizinkan, diblokir, atau dihilangkan, tetapi daftar jalur Izinkan dan Larang yang sama diulangi di setiap grup yang dihasilkan.