分类: 开发工具
Robots.txt 测试工具
检查 robots.txt 文件是否针对某个 User-agent 允许或禁止某个路径
粘贴 robots.txt 内容、一个 User-agent 和一个路径，即可查看是否允许抓取，以及匹配到的规则与分组。全部处理都在浏览器中完成。
本页的所有处理都在浏览器中完成，不会上传任何内容。
这个工具能做什么
一份 robots.txt 文件可能包含多个 User-agent 分组，以及相互重叠的 Allow 和 Disallow 规则，这使得很难判断某个具体路径究竟是否被屏蔽。本工具会解析粘贴的 robots.txt 文本，选出最匹配的 User-agent 分组，并采用 Google 爬虫所使用的“最具体规则优先”的优先级规则：路径最长的匹配规则生效，若同样具体，则 Allow 优先于 Disallow。
使用方法
- 把 robots.txt 内容粘贴到输入框。
- 输入要测试的 User-agent，例如 * 或 Googlebot。
- 输入要测试的路径，查看是否允许，以及匹配到的分组和规则。
隐私说明
本工具完全在你的浏览器中运行。输入的内容不会被上传、保存或分享，关闭标签页即随之消失。
常见问题
- 我的 robots.txt 会被发送到别处吗？
- 不会。解析与匹配全部由你浏览器标签页中的 JavaScript 完成。
- 如果没有规则匹配该路径会怎样？
- 该路径默认视为允许，这与真实爬虫处理 robots.txt 的方式一致：只有明确的 Disallow 规则才会限制访问。
- 使用的是哪种优先级规则？
- 最具体规则优先：在所有匹配某个路径的规则中，路径字符串最长的那条生效。如果两条同样长度的规则相互冲突，本工具会遵循 Google 记录的行为，优先采用限制更宽松的 Allow 规则。