カテゴリー: 開発ツール
Robots.txt テスター
robots.txt がある User-agent に対してパスを許可・拒否するか確認
robots.txt の内容、User-agent、パスを入力すると、クロールが許可されるかどうか、そしてどのルールとグループが一致したかを確認できます。すべてブラウザ内で完結します。
このページの処理はすべてブラウザ内で行われます。アップロードは一切ありません。
このツールでできること
robots.txt ファイルには複数の User-agent グループや重複する Allow・Disallow ルールが含まれることがあり、特定のパスが実際にブロックされているかどうかを見誤りやすくなります。このツールは貼り付けられた robots.txt のテキストを解析し、最も一致する User-agent グループを選び、Google のクローラーが使用する「最も具体的なルールが優先される」という優先順位、すなわち一致したルールのうちパスが最も長いものが優先され、同じ長さであれば Allow が Disallow より優先される、というルールを適用します。
使い方
- robots.txt の内容を入力欄に貼り付けます。
- テストする User-agent(例: * や Googlebot)を入力します。
- テストするパスを入力し、許可されるかどうかと、一致したグループ・ルールを確認します。
プライバシー
このツールはすべてブラウザ内で動作します。入力した内容がアップロード・保存・共有されることはなく、タブを閉じれば消えます。
よくある質問
- robots.txt はどこかに送信されますか?
- いいえ。解析と照合はすべてブラウザタブ内の JavaScript で実行されます。
- パスにどのルールも一致しない場合はどうなりますか?
- そのパスは既定で許可されます。これは実際のクローラーの挙動、すなわち明示的な Disallow ルールのみがアクセスを制限するという扱いに合わせています。
- どの優先順位ルールを使用していますか?
- 「最も具体的なルールが優先される」方式です。一致するルールの中でパス文字列が最も長いものが適用されます。同じ長さの2つのルールが矛盾する場合、このツールは Google が公表している挙動に従い、制限の弱い Allow ルールを優先します。