robots.txt 生成器

工作原理

robots.txt 文件放置在网站根目录下(例如 https://exemple.com/robots.txt),用于告知搜索引擎的爬虫哪些部分的网站是允许它们抓取的。每条规则将一个 User-agent(目标爬虫,* 表示所有)与一个或多个针对路径的 Allow 或 Disallow 指令关联起来。语法错误或格式不正确的路径可能会意外地屏蔽整个网站的索引,因此使用专门的工具而不是手工编写这个文件是有意义的。

robots.txt 真的能阻止访问某个页面吗?

不能。robots.txt 是一种约定,遵守规则的爬虫(Googlebot、Bingbot 等)会选择遵循它,但这并不是一种技术性保护。任何人只要知道某个「Disallow」页面的 URL,仍然可以查看其内容。要真正保护某项资源,应使用服务器端的身份验证,而不是 robots.txt。

是否总是需要包含 Sitemap 一行?

这不是强制性的,但是一种良好实践:在 robots.txt 中指明您的 sitemap.xml 的 URL,可以帮助搜索引擎更快地发现您网站的所有页面,作为通过 Search Console 直接提交的补充。

在您的浏览器中 100% 本地生成——不会发送到服务器。