分类: 开发工具
robots.txt 测试工具
Check whether robots.txt allows or blocks a path
粘贴 robots.txt,输入 User-agent 和路径,查看是否允许抓取及命中的分组和规则。 在浏览器本地处理,不上传到 LocalTools。
本页的所有处理都在浏览器中完成,不会上传任何内容。
这个工具能做什么
粘贴 robots.txt,输入 User-agent 和路径,查看是否允许抓取及命中的分组和规则。 在浏览器本地处理,不上传到 LocalTools。 A robots.txt file can contain multiple user-agent groups and overlapping Allow and Disallow rules, which makes it easy to misjudge whether a specific path is actually blocked. This tool parses the pasted robots.txt text, selects the most specific matching user-agent group, and applies the most-specific-rule-wins precedence that Google's crawlers use: the matching rule with the longest path wins, and an equally specific Allow beats an equally specific Disallow. 在浏览器本地处理,不上传到 LocalTools。
使用方法
- 粘贴输入内容。
- 查看生成结果和问题提示。
- 复制结果。
隐私说明
本工具完全在你的浏览器中运行。输入的内容不会被上传、保存或分享,关闭标签页即随之消失。
常见问题
- 如何测试 robots.txt 是否阻止某个路径?
- 粘贴 robots.txt,输入 User-agent 和路径,查看是否允许抓取及命中的分组和规则。 在浏览器本地处理,不上传到 LocalTools。
- Allow 和 Disallow 同时匹配时哪条规则生效?
- 粘贴 robots.txt,输入 User-agent 和路径,查看是否允许抓取及命中的分组和规则。
- 能看到处理依据吗?
- 可以,页面会显示结果和与当前工具相关的命中项或提示。
- 输入会上传吗?
- 不会。输入、设置和结果都在浏览器本地处理。
- 这个工具不支持哪些功能?
- 不支持抓取线上 robots.txt、爬取整站、修改服务器文件、生成 robots meta 标签或覆盖所有搜索机器人实现差异;它只测试你粘贴的 robots.txt 对指定 User-agent 和路径的匹配结果。