分类: 开发工具
robots.txt 生成器
生成带 User-agent、Allow、Disallow、Crawl-delay 和 Sitemap 的文件
在线生成 robots.txt:设置 Allow、Disallow、Crawl-delay、Sitemap、自定义 User-agent 和常见搜索、AI、SEO 爬虫规则。
适用于默认分组,以及下方设置为“允许”或“禁止”的任意爬虫。Google 会忽略 Crawl-delay;Bing、Yandex 等大多数爬虫会遵守。
只要访问权限为“允许”,受限目录就会被禁止访问。如果某个爬虫被完全禁止,它本身已经被屏蔽,受限目录对它没有额外作用。
“与默认相同”会让该爬虫遵循上方的默认分组。“允许”或“禁止”会为它生成一个独立的 User-agent 块,使用上方设置的路径和 crawl-delay。
搜索引擎
社交链接预览
AI 爬虫
SEO 爬虫
User-agent: * Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
本页的所有处理都在浏览器中完成,不会上传任何内容。
这个工具能做什么
这个 robots.txt 生成器会在浏览器里根据表单生成文件内容。你可以设置默认允许或阻止,填写 Disallow 路径、Allow 路径、一个 Sitemap URL、一个 Crawl-delay、一个自定义 User-agent,并为 14 个固定爬虫预设选择允许、阻止或默认。预设覆盖搜索、社交、AI 和 SEO 爬虫,包括 Googlebot、Bingbot、GPTBot、Google-Extended、CCBot、AhrefsBot 等。工具会把同一组 Allow 和 Disallow 路径写入每个生成的组;不能为某个爬虫单独设置路径规则。它可以复制内容或用 Blob 下载 robots.txt,但不会上传、发布、提交给站长平台、抓取现有文件、测试 URL 匹配、验证语法或输出 meta robots、X-Robots-Tag、Noindex、Host 等指令。Crawl-delay 原样写入且不校验,Googlebot 会忽略它。所有设置都留在浏览器中。
使用方法
- 选择默认允许或阻止,并填写需要的 Allow、Disallow 路径。
- 按需添加 Crawl-delay、一个 Sitemap URL、自定义 User-agent 或预设爬虫覆盖。
- 检查生成的 robots.txt,复制内容或下载文件后自行放到网站根目录。
隐私说明
本工具完全在你的浏览器中运行。输入的内容不会被上传、保存或分享,关闭标签页即随之消失。
常见问题
- robots.txt 是必须的吗?
- 不是每个网站都必须有 robots.txt。需要明确允许、阻止或提示爬虫时,可以生成后放到网站根目录。
- 限制目录为什么必须以 / 开头?
- robots.txt 的 Allow 和 Disallow 通常写网站根目录下的路径。LocalTools 会修剪空白,但不验证路径是否存在或语法是否最佳。
- 设置 Disallow: / 会怎样?
- 在对应 User-agent 组里,Disallow: / 表示请求爬虫不要抓取整个网站。但 robots.txt 是爬虫协议,不是访问控制。
- Sitemap 可以写多个吗?
- 本工具只支持一个 Sitemap 行,也不验证 Sitemap URL 是否可访问。
- 生成后需要自己上传到网站根目录吗?
- 需要。LocalTools 只生成、复制或下载文件,不会发布到你的网站,也不会提交给 Google、百度或其他平台。