LocalToolsKumpulan alat browser offline

Kategori: Alat pengembang

Pembuat Robots.txt

Hasilkan berkas robots.txt dengan aturan allow, disallow, dan sitemap

Tentukan user-agent, jalur allow dan disallow, crawl-delay opsional, serta URL sitemap untuk menghasilkan berkas robots.txt yang siap dipakai. Berjalan sepenuhnya di peramban Anda.

robots.txt
robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Semua yang ada di halaman ini diproses di peramban Anda. Tidak ada yang diunggah.

Apa fungsi alat ini

Berkas robots.txt memberi tahu perayap mesin pencari bagian mana dari sebuah situs yang boleh dan tidak boleh mereka minta, serta dapat mengarahkan mereka ke sitemap. Pembuat ini menyusun berkas berformat standar dari user-agent, daftar jalur yang diizinkan, daftar jalur yang dilarang, crawl-delay opsional, dan URL sitemap.

Cara memakainya

  1. Tentukan user-agent, atau biarkan sebagai * agar cocok dengan semua perayap.
  2. Daftarkan jalur allow dan disallow, satu per baris, lalu tambahkan URL sitemap.
  3. Salin robots.txt yang dihasilkan ke direktori root situs Anda.

Privasi

Alat ini berjalan sepenuhnya di peramban Anda. Masukan Anda tidak pernah diunggah, disimpan, atau dibagikan — menutup tab akan menghapusnya.

Pertanyaan yang sering diajukan

Apakah ada informasi tentang situs saya yang dikirim ke suatu tempat?
Tidak. Berkas ini disusun dari masukan Anda lewat JavaScript yang berjalan di halaman ini, sehingga tidak ada yang diunggah.
Di mana robots.txt perlu diletakkan?
Di direktori root domain Anda, misalnya https://example.com/robots.txt, agar perayap dapat menemukannya sebelum meminta halaman lain.
Apakah semua perayap mematuhi crawl-delay?
Tidak. Crawl-delay adalah konvensi yang cukup luas didukung tetapi bukan standar resmi, sehingga sebagian perayap mengabaikannya sepenuhnya.

Kembali ke semua alat