カテゴリー: 開発ツール
robots.txt テスター
robots.txt がパスを許可またはブロックするか確認
robots.txt を貼り付け、user-agent とパスを入力すると、一致したグループとルールに基づいてクロールが許可されるか確認できます。 ブラウザ内でローカルに実行され、データを LocalTools にアップロードしません。
このページの処理はすべてブラウザ内で行われます。アップロードは一切ありません。
このツールでできること
robots.txt を貼り付け、user-agent とパスを入力すると、一致したグループとルールに基づいてクロールが許可されるか確認できます。 ブラウザ内でローカルに実行され、データを LocalTools にアップロードしません。 robots.txt ファイルには複数の user-agent グループや重なり合う Allow / Disallow ルールを含められるため、特定のパスが実際にブロックされるかを見誤りやすくなります。このツールは貼り付けた robots.txt テキストを解析し、最も具体的に一致する user-agent グループを選び、Google のクローラーが使う「最も具体的なルールが優先」の考え方を適用します。一致するルールのうちパスが最も長いものが勝ち、同じ具体度なら Allow が Disallow より優先されます。 ブラウザ内でローカルに実行され、データを LocalTools にアップロードしません。
使い方
- 入力内容を貼り付けます。
- 結果と必要な警告を確認します。
- 結果をコピーします。
プライバシー
このツールはすべてブラウザ内で動作します。入力した内容がアップロード・保存・共有されることはなく、タブを閉じれば消えます。
よくある質問
- robots.txt がパスをブロックしているかテストするには?
- robots.txt を貼り付け、user-agent とパスを入力すると、一致したグループとルールに基づいてクロールが許可されるか確認できます。 ブラウザ内でローカルに実行され、データを LocalTools にアップロードしません。
- Allow と Disallow の両方が一致する場合、どちらのルールが優先されますか?
- robots.txt を貼り付け、user-agent とパスを入力すると、一致したグループとルールに基づいてクロールが許可されるか確認できます。
- 結果に使われた内容を確認できますか?
- はい。ページには結果と、そのツールに関係する一致項目や警告が表示されます。
- 入力内容はアップロードされますか?
- いいえ。入力内容、設定、結果はブラウザ内でローカル処理されます。
- このツールで対応していないことは?
- オンラインの robots.txt ファイル取得、サイトクロール、サーバーファイルの変更、robots meta タグの生成、クローラーごとの実装差の完全な再現には対応していません。貼り付けたルールを 1 つの user-agent とパスに対してテストするだけです。