分類: 開發工具
Robots.txt 測試工具
檢查 robots.txt 檔案是否允許或禁止某個 User-agent 存取某個路徑
貼上 robots.txt 內容、一個 User-agent 與一個路徑，即可檢視是否允許爬取，以及符合了哪一條規則與哪一個群組。所有處理都在瀏覽器中完成。
本頁的所有處理都在瀏覽器中完成，不會上傳任何內容。
這個工具能做什麼
一份 robots.txt 檔案可能包含多個 User-agent 群組，以及互相重疊的 Allow 與 Disallow 規則，這使得判斷特定路徑是否真的被封鎖變得容易出錯。本工具會解析貼上的 robots.txt 文字，選出最符合的 User-agent 群組，並套用 Google 爬蟲所使用的「最具體規則優先」判斷原則：符合的規則中路徑最長者優先，且長度相同時 Allow 會優先於 Disallow。
使用方式
- 把 robots.txt 內容貼到輸入框。
- 輸入要測試的 User-agent，例如 * 或 Googlebot。
- 輸入要測試的路徑，即可檢視是否允許存取，以及符合的群組與規則。
隱私說明
本工具完全在你的瀏覽器中執行。輸入的內容不會被上傳、儲存或分享，關閉分頁就隨之消失。
常見問題
- 我的 robots.txt 會被傳送到其他地方嗎？
- 不會。解析與比對完全在你瀏覽器分頁中的 JavaScript 內完成。
- 如果沒有任何規則符合該路徑會怎樣？
- 該路徑會預設為允許存取，這與真實爬蟲處理 robots.txt 的方式一致：只有明確的 Disallow 規則才會限制存取。
- 使用的是哪一種優先順序規則？
- 最具體規則優先：在所有符合該路徑的規則中，路徑字串最長的規則生效。如果兩條規則長度相同但結論相反，本工具會依照 Google 記載的行為，優先採用限制較寬鬆的 Allow 規則。