验证 robots.txt 文件

粘贴您的 robots.txt 文件内容,检查其语法,找出无效指令或缺少 User-agent 规则的问题。100% 本地处理(WebAssembly)。

示例:

工作原理

robots.txt 中的语法错误可能导致爬虫忽略某些规则,后果轻则意外屏蔽重要页面,重则让本应保持私密的区域被抓取。部署前请粘贴文件内容,检查每一行是否都符合可识别的语法。

哪些指令会被识别为有效?

该工具可识别 User-agent、Disallow、Allow、Sitemap 和 Crawl-delay(不区分大小写)。空行和以 # 开头的注释会被忽略,其余内容都会被标记为可能无效。

为什么必须有 User-agent 指令?

如果没有 User-agent 指令,其后的 Disallow 或 Allow 规则就没有针对的爬虫,搜索引擎可能会忽略它们。每个规则块都必须以一行 User-agent 开头,说明它适用于哪个爬虫(* 表示所有爬虫)。

100% 本地处理:验证通过 WebAssembly 完全在您的浏览器中运行——您的文件绝不会离开您的设备。