Kategori: Alat pengembang
penguji robots.txt
Periksa apakah robots.txt mengizinkan atau memblokir sebuah jalur
Tempel robots.txt, masukkan User-agent dan jalur, lalu lihat apakah perayapan diizinkan berdasarkan grup dan aturan yang cocok. Diproses secara lokal di peramban Anda dan tidak mengunggah data ke LocalTools.
Semua yang ada di halaman ini diproses di peramban Anda. Tidak ada yang diunggah.
Apa fungsi alat ini
Tempel robots.txt, masukkan User-agent dan jalur, lalu lihat apakah perayapan diizinkan berdasarkan grup dan aturan yang cocok. Diproses secara lokal di peramban Anda dan tidak mengunggah data ke LocalTools. Berkas robots.txt dapat berisi beberapa grup User-agent serta aturan Allow dan Disallow yang saling tumpang tindih, sehingga mudah salah menilai apakah jalur tertentu benar-benar diblokir. Alat ini mengurai teks robots.txt yang ditempel, memilih grup User-agent paling spesifik yang cocok, lalu menerapkan prioritas aturan paling spesifik yang digunakan perayap Google: aturan cocok dengan jalur terpanjang menang, dan Allow yang sama spesifiknya mengalahkan Disallow yang sama spesifiknya. Diproses secara lokal di peramban Anda dan tidak mengunggah data ke LocalTools.
Cara memakainya
- Tempelkan masukan.
- Tinjau hasil dan detail masalah.
- Salin hasil.
Privasi
Alat ini berjalan sepenuhnya di peramban Anda. Masukan Anda tidak pernah diunggah, disimpan, atau dibagikan — menutup tab akan menghapusnya.
Pertanyaan yang sering diajukan
- Bagaimana cara menguji apakah robots.txt memblokir sebuah jalur?
- Tempel robots.txt, masukkan User-agent dan jalur, lalu lihat apakah perayapan diizinkan berdasarkan grup dan aturan yang cocok. Diproses secara lokal di peramban Anda dan tidak mengunggah data ke LocalTools.
- Aturan mana yang berlaku saat Allow dan Disallow sama-sama cocok?
- Tempel robots.txt, masukkan User-agent dan jalur, lalu lihat apakah perayapan diizinkan berdasarkan grup dan aturan yang cocok.
- Bisakah saya melihat apa yang dipakai alat untuk membuat hasil?
- Ya. Halaman menampilkan hasil beserta item yang cocok atau detail masalah yang relevan dengan alat.
- Apakah masukan saya diunggah?
- Tidak. Masukan, pengaturan, dan hasil diproses secara lokal di peramban Anda.
- Apa yang tidak didukung alat ini?
- Alat ini tidak mengambil berkas robots.txt langsung, merayapi situs, mengubah berkas server, membuat tag meta robots, atau meniru setiap implementasi khusus bot; alat ini hanya menguji aturan yang ditempel terhadap satu User-agent dan jalur.