robots.txt 不生效_Disallow与Allow规则优先级
很多站长遇到 robots.txt 不生效直接在 robots.txt 写 Disallow: /，结果整站被禁止抓取，收录全部消失。robots.txt 修改前用百度站长平台的 robots 检测工具验证，确认只屏蔽了目标目录，没有误封正常内容。
robots.txt 完整示例：User-agent: * 下 Disallow: /admin/、Disallow: /install/、Disallow: /?、Disallow: /*?*、Disallow: /temp/、Allow: /。Sitemap: http://域名/sitemap.xml。禁止后台、安装目录、动态参数 URL、临时目录，允许其余内容，末尾提交 sitemap 地址。
配置参考（robots.txt 禁止指定蜘蛛）： ``` User-agent: AhrefsBot Disallow: /
User-agent: SemrushBot Disallow: /
User-agent: * Allow: / ```
蜘蛛抓取流量大但收录少，通常是抓取了大量低价值页面：分页参数、搜索结果页、筛选页、标签页。用 robots.txt 禁止这些 URL 模式，把抓取配额留给内容页。Disallow: /*?page=、Disallow: /*?s=、Disallow: /*?filter=，禁止后蜘蛛集中抓取正文页，收录效率提升。
robots.txt 与 301、404 的配合：页面已删除不要只靠 robots 禁止，要让页面返回 404 再提交死链；页面移动到新地址用 301，不要 robots 禁止旧地址（禁止后蜘蛛不抓取，301 无法传递权重）。robots.txt 管抓取范围，301 和 404 管状态码，三者配合才能完整控制收录。
百度蜘蛛流量大但收录少，通常是抓取了大量低价值页面。优化方向：robots.txt 禁止搜索结果页、筛选页、分页参数、标签云；页面加 canonical 指向主版本；sitemap 只提交高质量页面。蜘蛛抓取配额集中到正文页后，收录量和排名都会提升，流量反而下降。
更新时间：2026-09-03 16:45:39
上一篇：虚拟主机预装phpMyAdmin安装_数据库管理工具部署