カテゴリー: 開発ツール

robots.txt テスター

サイト側で企画したツールツールが見つからない?

robots.txt がパスを許可またはブロックするか確認

robots.txt を貼り付け、user-agent とパスを入力すると、一致したグループとルールに基づいてクロールが許可されるか確認できます。 ブラウザ内でローカルに実行され、データを LocalTools にアップロードしません。

結果許可一致したグループ*一致したルールAllow: /admin/public/

このページの処理はすべてブラウザ内で行われます。アップロードは一切ありません。

このツールでできること

robots.txt を貼り付け、user-agent とパスを入力すると、一致したグループとルールに基づいてクロールが許可されるか確認できます。 ブラウザ内でローカルに実行され、データを LocalTools にアップロードしません。 robots.txt ファイルには複数の user-agent グループや重なり合う Allow / Disallow ルールを含められるため、特定のパスが実際にブロックされるかを見誤りやすくなります。このツールは貼り付けた robots.txt テキストを解析し、最も具体的に一致する user-agent グループを選び、Google のクローラーが使う「最も具体的なルールが優先」の考え方を適用します。一致するルールのうちパスが最も長いものが勝ち、同じ具体度なら Allow が Disallow より優先されます。 ブラウザ内でローカルに実行され、データを LocalTools にアップロードしません。

使い方

  1. 入力内容を貼り付けます。
  2. 結果と必要な警告を確認します。
  3. 結果をコピーします。

プライバシー

このツールはすべてブラウザ内で動作します。入力した内容がアップロード・保存・共有されることはなく、タブを閉じれば消えます。

よくある質問

robots.txt がパスをブロックしているかテストするには?
robots.txt を貼り付け、user-agent とパスを入力すると、一致したグループとルールに基づいてクロールが許可されるか確認できます。 ブラウザ内でローカルに実行され、データを LocalTools にアップロードしません。
Allow と Disallow の両方が一致する場合、どちらのルールが優先されますか?
robots.txt を貼り付け、user-agent とパスを入力すると、一致したグループとルールに基づいてクロールが許可されるか確認できます。
結果に使われた内容を確認できますか?
はい。ページには結果と、そのツールに関係する一致項目や警告が表示されます。
入力内容はアップロードされますか?
いいえ。入力内容、設定、結果はブラウザ内でローカル処理されます。
このツールで対応していないことは?
オンラインの robots.txt ファイル取得、サイトクロール、サーバーファイルの変更、robots meta タグの生成、クローラーごとの実装差の完全な再現には対応していません。貼り付けたルールを 1 つの user-agent とパスに対してテストするだけです。