LocalToolsオフラインブラウザツール集

カテゴリー: 開発ツール

Robots.txt ジェネレーター

allow・disallow・サイトマップのルールを含む robots.txt を生成

User-agent、許可・禁止するパス、任意の Crawl-delay、サイトマップ URL を設定すると、すぐに使える robots.txt ファイルを生成します。すべてブラウザ内で完結します。

robots.txt
robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

このページの処理はすべてブラウザ内で行われます。アップロードは一切ありません。

このツールでできること

robots.txt ファイルは、検索エンジンのクローラーにサイトのどの部分をリクエストしてよいか、してはいけないかを伝え、サイトマップの場所を示すことができます。このジェネレーターは、User-agent、許可パスの一覧、禁止パスの一覧、任意の Crawl-delay、サイトマップ URL から、標準に沿った形式のファイルを作成します。

使い方

  1. User-agent を設定します。すべてのクローラーに適用する場合は * のままにします。
  2. 許可・禁止するパスを1行ずつ入力し、サイトマップ URL を追加します。
  3. 生成された robots.txt をサイトのルートにコピーします。

プライバシー

このツールはすべてブラウザ内で動作します。入力した内容がアップロード・保存・共有されることはなく、タブを閉じれば消えます。

よくある質問

サイトに関する情報はどこかに送信されますか?
いいえ。ファイルはページ内で実行される JavaScript によって入力内容から組み立てられるため、アップロードされることはありません。
robots.txt はどこに置く必要がありますか?
https://example.com/robots.txt のように、ドメインのルートに置く必要があります。クローラーは他のページをリクエストする前にこのファイルを探します。
すべてのクローラーが Crawl-delay に従いますか?
いいえ。Crawl-delay は広く使われている慣習ですが正式な標準ではないため、完全に無視するクローラーもあります。

すべてのツールに戻る