カテゴリー: 開発ツール
robots.txt ジェネレーター
共有ルールとクローラー プリセットを含む robots.txt ファイルを作成する
ユーザー エージェント、許可、禁止、クロール遅延、1 つのサイトマップ、および検索、ソーシャル、AI、SEO クローラーのプリセットを使用して、robots.txt をローカルで生成します。
デフォルトグループと、下で「許可」または「ブロック」に設定したクローラーに適用されます。GoogleはCrawl-delayを無視しますが、Bing、Yandexなど他の多くのクローラーは従います。
制限ディレクトリは、アクセスが「許可」になっている箇所すべてでブロックされます。完全にブロックしたクローラーはすでにブロックされているため、そこでは追加の効果はありません。
「デフォルトと同じ」にすると、そのクローラーは上のデフォルトグループに従います。「許可」または「ブロック」にすると、上で設定したパスとCrawl-delayを使った専用のUser-agentブロックが作られます。
検索エンジン
SNSのリンクプレビュー
AIクローラー
SEOクローラー
User-agent: * Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
このページの処理はすべてブラウザ内で行われます。アップロードは一切ありません。
このツールでできること
この robots.txt ジェネレーターは、ブラウザーでファイル本体を構築します。ユーザー エージェントを構成します: * グループ、デフォルトの許可またはブロック動作、禁止パス、許可パス、オプションのクロール遅延、1 つのサイトマップ URL、1 つのカスタム ユーザー エージェント、および 14 の固定クローラー プリセット。プリセットは、Googlebot、Bingbot、GPTBot、Google-Extended、CCBot、AhrefsBot などの検索、ソーシャル、AI、SEO クローラーをカバーしています。デフォルトに設定されたクローラは省略され、ワイルドカード グループに渡されます。同じ許可パスと不許可パスが生成されたすべてのグループで繰り返されるため、ツールは 1 つのパス ルールを 1 つのクローラだけに限定することはできません。出力をコピーするか、Blob オブジェクト URL から robots.txt をダウンロードできます。このツールは、テスト、検証、マッチングのシミュレーション、既存の robots.txt の取得、サイトへの公開、ウェブマスター ツールへの送信、パスの検証、複数のサイトマップ行の追加またはロボット メタ タグ、X-Robots-Tag、Noindex、Host、または Clean-param ディレクティブの出力を行いません。クロール遅延は入力されたとおりに記述され、Googlebot によって無視されます。設定はブラウザーに残ります。
使い方
- デフォルトのアクセス モードを選択し、共有の許可パスまたは禁止パスを入力します。
- 必要に応じて、クロール遅延、1 つのサイトマップ URL、カスタム ユーザー エージェントまたはクローラー プリセット オーバーライドを追加します。
- 生成された robots.txt を確認し、それをコピーするか、サイト ルートのファイルをダウンロードします。
プライバシー
このツールはすべてブラウザ内で動作します。入力した内容がアップロード・保存・共有されることはなく、タブを閉じれば消えます。
よくある質問
- ユーザーエージェントを定義するにはどうすればよいですか?
- ワイルドカード User-agent: * グループは常に生成されます。カスタム ユーザー エージェントを 1 つ追加し、固定クローラ プリセットの許可、ブロック、またはデフォルトを選択できます。
- Disallow ディレクティブはどのように使用すればよいですか?
- 1 行に 1 つのパスを入力します。 LocalTools は空の行をトリミングし、パスごとに 1 つの Disallow 行を書き込みますが、パスの検証や一致のシミュレーションは行いません。
- サイトマップを robots.txt に追加できますか?
- はい、最後にサイトマップ行を 1 行追加できます。このツールはサイトマップ URL を検証せず、複数のサイトマップ行をサポートしません。
- 生成された robots.txt ファイルを Web サイトに追加するにはどうすればよいですか?
- ファイルをコピーまたはダウンロードし、自分のサイトのルートに置きます。 LocalTools は、ユーザーに代わってファイルをアップロード、公開、送信しません。
- 1 つのクローラに対してのみ異なる不許可を設定できますか?
- いいえ。クローラ プリセットは許可、ブロック、または省略できますが、同じ許可パス リストと禁止パス リストが生成された各グループで繰り返されます。