分類: 開發工具

robots.txt 產生器

站方自行規劃沒找到想要的工具?

產生帶有 User-agent、Allow、Disallow、Crawl-delay 和 Sitemap 的文件

線上產生 robots.txt:設定 Allow、Disallow、Crawl-delay、Sitemap、自訂 User-agent 和常見搜尋、AI、SEO 爬蟲規則。

robots.txt

適用於預設群組,以及下方設為「允許」或「封鎖」的任何爬蟲。Google 會忽略 Crawl-delay;Bing、Yandex 等大多數爬蟲則會遵守。

只要存取權限為「允許」,受限目錄就會被封鎖。若某個爬蟲被完全封鎖,它本身已經被擋下,受限目錄對它沒有額外作用。

個別爬蟲規則

「與預設相同」會讓該爬蟲遵循上方的預設群組。「允許」或「封鎖」則會為它建立獨立的 User-agent 區塊,套用上方設定的路徑與 crawl-delay。

搜尋引擎

社群連結預覽

AI 爬蟲

SEO 爬蟲

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

本頁的所有處理都在瀏覽器中完成,不會上傳任何內容。

這個工具能做什麼

這個 robots.txt 產生器會在瀏覽器中根據表單產生文件內容。你可以設定預設允許或阻止,填寫 Disallow 路徑、Allow 路徑、一個 Sitemap URL、一個 Crawl-delay、一個自訂 User-agent,並為 14 個固定爬蟲預設選擇允許、阻止或預設。預設覆蓋搜尋、社交、AI 和 SEO 爬蟲,包括 Googlebot、Bingbot、GPTBot、Google-Extended、CCBot、AhrefsBot 等。工具會將同一組 Allow 和 Disallow 路徑寫入每個生成的群組;不能為某個爬蟲單獨設定路徑規則。它可以複製內容或用 Blob 下載 robots.txt,但不會上傳、發布、提交給站長平台、抓取現有文件、測試 URL 匹配、驗證語法或輸出 meta robots、X-Robots-Tag、Noindex、Host 等指令。 Crawl-delay 原樣寫入且不校驗,Googlebot 會忽略它。所有設定都留在瀏覽器中。

使用方式

  1. 選擇預設允許或阻止,並填寫所需的 Allow、Disallow 路徑。
  2. 按需添加 Crawl-delay、一個 Sitemap URL、自訂 User-agent 或預設爬蟲覆蓋。
  3. 檢查產生的 robots.txt,複製內容或下載檔案後自行放到網站根目錄。

隱私說明

本工具完全在你的瀏覽器中執行。輸入的內容不會被上傳、儲存或分享,關閉分頁就隨之消失。

常見問題

robots.txt 是必須的嗎?
不是每個網站都必須有 robots.txt。需要明確允許、阻止或提示爬蟲時,可以產生後放到網站根目錄。
限制目錄為什麼必須以 / 開頭?
robots.txt 的 Allow 和 Disallow 通常寫網站根目錄下的路徑。 LocalTools 會修剪空白,但不驗證路徑是否存在或語法是否最佳。
設定 Disallow: / 會怎樣?
在對應 User-agent 群組裡,Disallow: / 表示請求爬蟲不要抓取整個網站。但 robots.txt 是爬蟲協議,不是存取控制。
Sitemap 可以寫多個嗎?
本工具只支援一個 Sitemap 行,也不驗證 Sitemap URL 是否可存取。
生成後需要自己上傳到網站根目錄嗎?
需要。 LocalTools 只產生、複製或下載文件,不會發佈到你的網站,也不會提交給 Google、百度或其他平台。