Robots.txt 测试器 - 在线测试与验证蜘蛛抓取规则是否屏蔽指定 URL
输入 robots.txt 规则内容与测试网址，即时模拟 Googlebot 与各大蜘蛛验证该 URL 是否被 Disallow 屏蔽或 Allow 允许访问。
此工具在浏览器中运行。
仅在当前浏览器中处理。
使用方法
- 01输入或上传源数据。
- 02在浏览器中运行工具。
- 03检查、复制或下载结果。
常见问题
当 Allow 与 Disallow 规则发生冲突时以哪条为准？
遵循最长路径匹配原则（Most Specific Rule）；如果匹配长度相同，通常 Allow 规则的优先级高于 Disallow 规则。
robots.txt 中的通配符（* 和 $）是如何生效的？
* 代表匹配任意长度字符；$ 代表匹配 URL 的结尾（如 Disallow: /*.pdf$ 专门屏蔽所有以 .pdf 结尾的网址）。
测试验证需要向目标网站发起网络请求吗？
不需要。验证算法纯在本地模拟搜索引擎匹配逻辑，无需联网发包，完全不影响目标网站服务器。