分類: 開發工具
Robots.txt 產生器
產生包含允許、禁止與 Sitemap 規則的 robots.txt 檔案
設定 User-agent、允許與禁止路徑、選填的 Crawl-delay 以及 Sitemap 網址，即可產生可直接使用的 robots.txt 檔案。所有處理都在瀏覽器中完成。
robots.txt
robots.txt
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
本頁的所有處理都在瀏覽器中完成，不會上傳任何內容。
這個工具能做什麼
robots.txt 檔案會告訴搜尋引擎爬蟲網站的哪些部分可以與不可以抓取，並可以指向 Sitemap。本產生器會根據 User-agent、允許路徑清單、禁止路徑清單、選填的 Crawl-delay 以及 Sitemap 網址，建立符合標準格式的檔案。
使用方式
- 設定 User-agent，或保留 * 以套用到所有爬蟲。
- 每行輸入一個允許或禁止路徑，並加入 Sitemap 網址。
- 把產生的 robots.txt 複製到你網站的根目錄。
隱私說明
本工具完全在你的瀏覽器中執行。輸入的內容不會被上傳、儲存或分享，關閉分頁就隨之消失。
常見問題
- 我網站的資訊會被傳送到其他地方嗎？
- 不會。檔案是由頁面內執行的 JavaScript 根據你輸入的內容組成，不會上傳任何資料。
- robots.txt 需要放在哪裡？
- 需要放在網域的根目錄，例如 https://example.com/robots.txt，這樣爬蟲才能在請求其他頁面之前先找到它。
- 所有爬蟲都會遵守 Crawl-delay 嗎？
- 不會。Crawl-delay 是廣泛採用的慣例，但並非正式標準，因此有些爬蟲會完全忽略它。