robots.txt 是最容易被写错的一个文件,原因很简单:它的作用常被误解成「控制收录」。它只告诉爬虫可以不抓哪些路径,抓取和收录是两件事。
三条必须记住的语义
一,Disallow 不等于 noindex。被 Disallow 的页面抓不到,但仍可能因为站内或站外链接而被收录,而且标题和描述不完整,呈现效果比正常页面更差。真正要排除收录,应该在页面里输出 ,同时允许抓取,让爬虫读到这条指令。
二,规则按最长路径匹配生效。Disallow: /a/ 与 Disallow: /a/b/ 同时存在时,访问 /a/b/ 由更长的那条决定,与书写顺序无关。想「屏蔽整个目录但放开其中一个子目录」,靠的是写一条更长的规则,而不是靠顺序。
三,不支持正则和通配符匹配查询参数。多数爬虫只认 * 作简单通配、$ 作结尾匹配(且支持程度不一),指望它理解复杂模式通常会失败。
企业站的常用骨架
User-agent: *Allow: /Disallow: /admin(后台目录,实际更推荐加 IP 白名单或改路径,robots 不是安全手段)Disallow: /cart/、Disallow: /search?(搜索结果页与购物流程)Sitemap: https://你的域名/sitemap.xml
要点:Sitemap 声明使用绝对地址;一行一条规则,不要挤在一起;文件用 UTF-8 无 BOM 保存。
五种高频失误
- 整站禁抓后忘了改回来。常见于测试环境或上线初期加的
Disallow: /,检查方法是直接访问https://域名/robots.txt看返回内容。 - 把测试环境带到生产。预发布域名下挂着
X-Robots-Tag: noindex或生产 robots 指向测试地址。 - 屏蔽了带参数的版本,却把规范版本也一起屏蔽。比如为了去重写了
Disallow: /?s=,结果整站的参数抓取全停。 - 屏蔽了图片、CSS、JS 目录。爬虫无法渲染页面,会影响对页面质量的判断,这类目录不要 Disallow。
- 误以为 robots.txt 能保护隐私。它是公开文件,任何人可以看到你不希望被抓的路径,敏感目录请用鉴权而不是 robots。
验证的三步做法
第一步,肉眼核对文件本身。访问 robots.txt,确认可读、无乱码、不是 404。
第二步,用爬虫工具做站点级检测。主流搜索引擎的控制台都提供 robots 检查器,输入规则与测试 URL 能看到生效结果。
第三步,检查响应头。用 curl -sI https://域名/ | grep -i x-robots 确认没有意外的全局 noindex 头。
常见问题
问:AI 爬虫(如抓取模型训练数据的机器人)能屏蔽吗?
可以按 User-agent 单独列规则,但不同服务的标识名称不一定统一,屏蔽训练抓取和屏蔽搜索引用是两类决定,建议分别确认后再写。
问:子域名要单独写 robots.txt 吗?
需要。每个子域名各自一份,主域的文件不作用于子域,这点在城市分站或独立商城场景里很容易漏。
请立即点击咨询我们或拨打咨询热线: 400-000-1828,我们会详细为你一一解答你心中的疑难。项目经理在线

