Kategori: Alat pengembang
Penguji Robots.txt
Periksa apakah robots.txt mengizinkan atau melarang sebuah jalur untuk user-agent tertentu
Tempel isi robots.txt, user-agent, dan sebuah jalur untuk melihat apakah crawling diizinkan, serta aturan dan grup mana yang cocok. Berjalan sepenuhnya di peramban Anda.
Semua yang ada di halaman ini diproses di peramban Anda. Tidak ada yang diunggah.
Apa fungsi alat ini
Berkas robots.txt dapat berisi beberapa grup user-agent dan aturan Allow serta Disallow yang tumpang tindih, sehingga mudah salah menilai apakah sebuah jalur tertentu benar-benar diblokir. Alat ini mengurai teks robots.txt yang ditempel, memilih grup user-agent paling spesifik yang cocok, dan menerapkan precedence aturan-paling-spesifik-menang yang dipakai perayap Google: aturan cocok dengan jalur terpanjang yang menang, dan Allow yang sama spesifiknya mengalahkan Disallow yang sama spesifiknya.
Cara memakainya
- Tempel isi robots.txt ke kotak masukan.
- Masukkan user-agent yang ingin diuji, misalnya * atau Googlebot.
- Masukkan jalur yang ingin diuji dan baca apakah diizinkan, beserta grup dan aturan yang cocok.
Privasi
Alat ini berjalan sepenuhnya di peramban Anda. Masukan Anda tidak pernah diunggah, disimpan, atau dibagikan — menutup tab akan menghapusnya.
Pertanyaan yang sering diajukan
- Apakah robots.txt saya dikirim ke suatu tempat?
- Tidak. Penguraian dan pencocokan berjalan sepenuhnya lewat JavaScript di tab peramban Anda.
- Apa yang terjadi jika tidak ada aturan yang cocok dengan jalur tersebut?
- Jalur itu diizinkan secara default, mencerminkan cara perayap sungguhan memperlakukan robots.txt: hanya aturan Disallow eksplisit yang membatasi akses.
- Aturan precedence apa yang dipakai alat ini?
- Aturan-paling-spesifik-menang: di antara aturan yang cocok dengan sebuah jalur, yang memiliki string jalur terpanjang berlaku. Jika dua aturan dengan panjang sama saling bertentangan, alat ini mengikuti perilaku terdokumentasi Google dan memilih aturan Allow yang kurang membatasi.