分類: 開發工具

robots.txt 測試工具

站方自行規劃沒找到想要的工具?

檢查 robots.txt 是否允許或封鎖某個路徑

貼上 robots.txt,輸入 User-agent 和路徑,查看是否允許爬取,以及命中的群組和規則。 在瀏覽器本機處理,不上傳到 LocalTools。

結果允許符合的群組*符合的規則Allow: /admin/public/

本頁的所有處理都在瀏覽器中完成,不會上傳任何內容。

這個工具能做什麼

貼上 robots.txt,輸入 User-agent 和路徑,查看是否允許爬取,以及命中的群組和規則。 在瀏覽器本機處理,不上傳到 LocalTools。robots.txt 檔案可以包含多個 User-agent 群組,以及重疊的 Allow 和 Disallow 規則,因此很容易誤判某個特定路徑是否真的被封鎖。此工具會解析貼上的 robots.txt 文字,選出最具體且相符的 User-agent 群組,並套用 Google 爬蟲使用的最具體規則優先邏輯:相符規則中路徑最長者生效,若 Allow 和 Disallow 同樣具體,則 Allow 優先。 在瀏覽器本機處理,不上傳到 LocalTools。

使用方式

  1. 貼上輸入內容。
  2. 查看產生結果和問題提示。
  3. 複製結果。

隱私說明

本工具完全在你的瀏覽器中執行。輸入的內容不會被上傳、儲存或分享,關閉分頁就隨之消失。

常見問題

如何測試 robots.txt 是否封鎖某個路徑?
貼上 robots.txt,輸入 User-agent 和路徑,查看是否允許爬取,以及命中的群組和規則。 在瀏覽器本機處理,不上傳到 LocalTools。
Allow 和 Disallow 同時相符時哪條規則生效?
貼上 robots.txt,輸入 User-agent 和路徑,查看是否允許爬取,以及命中的群組和規則。
能看到處理依據嗎?
可以,頁面會顯示結果,以及與此工具相關的命中項目或問題提示。
輸入內容會上傳嗎?
不會。輸入內容、設定和結果都在瀏覽器本機處理。
這個工具不支援哪些功能?
不支援抓取線上 robots.txt、爬取整個網站、修改伺服器檔案、產生 robots meta 標籤,或模擬每一種搜尋機器人的特定實作;它只會用貼上的規則測試一個 User-agent 和路徑。