カテゴリー: 開発ツール

robots.txt ジェネレーター

サイト側で企画したツールツールが見つからない?

共有ルールとクローラー プリセットを含む robots.txt ファイルを作成する

ユーザー エージェント、許可、禁止、クロール遅延、1 つのサイトマップ、および検索、ソーシャル、AI、SEO クローラーのプリセットを使用して、robots.txt をローカルで生成します。

robots.txt

デフォルトグループと、下で「許可」または「ブロック」に設定したクローラーに適用されます。GoogleはCrawl-delayを無視しますが、Bing、Yandexなど他の多くのクローラーは従います。

制限ディレクトリは、アクセスが「許可」になっている箇所すべてでブロックされます。完全にブロックしたクローラーはすでにブロックされているため、そこでは追加の効果はありません。

クローラー別ルール

「デフォルトと同じ」にすると、そのクローラーは上のデフォルトグループに従います。「許可」または「ブロック」にすると、上で設定したパスとCrawl-delayを使った専用のUser-agentブロックが作られます。

検索エンジン

SNSのリンクプレビュー

AIクローラー

SEOクローラー

robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

このページの処理はすべてブラウザ内で行われます。アップロードは一切ありません。

このツールでできること

この robots.txt ジェネレーターは、ブラウザーでファイル本体を構築します。ユーザー エージェントを構成します: * グループ、デフォルトの許可またはブロック動作、禁止パス、許可パス、オプションのクロール遅延、1 つのサイトマップ URL、1 つのカスタム ユーザー エージェント、および 14 の固定クローラー プリセット。プリセットは、Googlebot、Bingbot、GPTBot、Google-Extended、CCBot、AhrefsBot などの検索、ソーシャル、AI、SEO クローラーをカバーしています。デフォルトに設定されたクローラは省略され、ワイルドカード グループに渡されます。同じ許可パスと不許可パスが生成されたすべてのグループで繰り返されるため、ツールは 1 つのパス ルールを 1 つのクローラだけに限定することはできません。出力をコピーするか、Blob オブジェクト URL から robots.txt をダウンロードできます。このツールは、テスト、検証、マッチングのシミュレーション、既存の robots.txt の取得、サイトへの公開、ウェブマスター ツールへの送信、パスの検証、複数のサイトマップ行の追加またはロボット メタ タグ、X-Robots-Tag、Noindex、Host、または Clean-param ディレクティブの出力を行いません。クロール遅延は入力されたとおりに記述され、Googlebot によって無視されます。設定はブラウザーに残ります。

使い方

  1. デフォルトのアクセス モードを選択し、共有の許可パスまたは禁止パスを入力します。
  2. 必要に応じて、クロール遅延、1 つのサイトマップ URL、カスタム ユーザー エージェントまたはクローラー プリセット オーバーライドを追加します。
  3. 生成された robots.txt を確認し、それをコピーするか、サイト ルートのファイルをダウンロードします。

プライバシー

このツールはすべてブラウザ内で動作します。入力した内容がアップロード・保存・共有されることはなく、タブを閉じれば消えます。

よくある質問

ユーザーエージェントを定義するにはどうすればよいですか?
ワイルドカード User-agent: * グループは常に生成されます。カスタム ユーザー エージェントを 1 つ追加し、固定クローラ プリセットの許可、ブロック、またはデフォルトを選択できます。
Disallow ディレクティブはどのように使用すればよいですか?
1 行に 1 つのパスを入力します。 LocalTools は空の行をトリミングし、パスごとに 1 つの Disallow 行を書き込みますが、パスの検証や一致のシミュレーションは行いません。
サイトマップを robots.txt に追加できますか?
はい、最後にサイトマップ行を 1 行追加できます。このツールはサイトマップ URL を検証せず、複数のサイトマップ行をサポートしません。
生成された robots.txt ファイルを Web サイトに追加するにはどうすればよいですか?
ファイルをコピーまたはダウンロードし、自分のサイトのルートに置きます。 LocalTools は、ユーザーに代わってファイルをアップロード、公開、送信しません。
1 つのクローラに対してのみ異なる不許可を設定できますか?
いいえ。クローラ プリセットは許可、ブロック、または省略できますが、同じ許可パス リストと禁止パス リストが生成された各グループで繰り返されます。