分类: 开发工具

robots.txt 测试工具

站方自主规划没找到想要的工具?

Check whether robots.txt allows or blocks a path

粘贴 robots.txt,输入 User-agent 和路径,查看是否允许抓取及命中的分组和规则。 在浏览器本地处理,不上传到 LocalTools。

结果允许匹配的分组*匹配的规则Allow: /admin/public/

本页的所有处理都在浏览器中完成,不会上传任何内容。

这个工具能做什么

粘贴 robots.txt,输入 User-agent 和路径,查看是否允许抓取及命中的分组和规则。 在浏览器本地处理,不上传到 LocalTools。 A robots.txt file can contain multiple user-agent groups and overlapping Allow and Disallow rules, which makes it easy to misjudge whether a specific path is actually blocked. This tool parses the pasted robots.txt text, selects the most specific matching user-agent group, and applies the most-specific-rule-wins precedence that Google's crawlers use: the matching rule with the longest path wins, and an equally specific Allow beats an equally specific Disallow. 在浏览器本地处理,不上传到 LocalTools。

使用方法

  1. 粘贴输入内容。
  2. 查看生成结果和问题提示。
  3. 复制结果。

隐私说明

本工具完全在你的浏览器中运行。输入的内容不会被上传、保存或分享,关闭标签页即随之消失。

常见问题

如何测试 robots.txt 是否阻止某个路径?
粘贴 robots.txt,输入 User-agent 和路径,查看是否允许抓取及命中的分组和规则。 在浏览器本地处理,不上传到 LocalTools。
Allow 和 Disallow 同时匹配时哪条规则生效?
粘贴 robots.txt,输入 User-agent 和路径,查看是否允许抓取及命中的分组和规则。
能看到处理依据吗?
可以,页面会显示结果和与当前工具相关的命中项或提示。
输入会上传吗?
不会。输入、设置和结果都在浏览器本地处理。
这个工具不支持哪些功能?
不支持抓取线上 robots.txt、爬取整站、修改服务器文件、生成 robots meta 标签或覆盖所有搜索机器人实现差异;它只测试你粘贴的 robots.txt 对指定 User-agent 和路径的匹配结果。