新网虚拟主机百度蜘蛛占用流量_禁止抓取指定目录解决
robots.txt 是搜索引擎抓取的规则文件，放在网站根目录，文件名必须小写。禁止抓取指定目录时在 robots.txt 里写 User-agent 和 Disallow/Allow 规则，百度蜘蛛抓取前会先读 robots.txt，按规则决定是否抓取。注意 robots.txt 是建议性的，恶意蜘蛛不遵守，但百度、Google 等正规引擎严格遵守。
robots.txt 只能禁止抓取，不能删除已收录的页面。已经被百度收录的页面，即使 robots.txt 禁止抓取，收录仍会保留（只是不再更新）。要删除收录需要页面返回 404 或 410，再在站长平台提交死链。robots.txt + 404 配合才能彻底清理。
配置参考（robots.txt 只允许百度和 Google）： ``` User-agent: Baiduspider Allow: /
User-agent: Googlebot Allow: /
User-agent: * Disallow: / ```
蜘蛛抓取流量大但收录少，通常是抓取了大量低价值页面：分页参数、搜索结果页、筛选页、标签页。用 robots.txt 禁止这些 URL 模式，把抓取配额留给内容页。Disallow: /*?page=、Disallow: /*?s=、Disallow: /*?filter=，禁止后蜘蛛集中抓取正文页，收录效率提升。
robots.txt 的高级用法：Crawl-delay 参数限制抓取间隔（部分蜘蛛支持，百度不支持），Disallow 配合通配符禁止参数页，Allow 单独放开重要目录。复杂规则写完必须用百度站长平台的 robots 检测工具逐条验证，输入典型 URL 看是否被允许，避免误封整站。
robots.txt 与 301、404 的配合：页面已删除不要只靠 robots 禁止，要让页面返回 404 再提交死链；页面移动到新地址用 301，不要 robots 禁止旧地址（禁止后蜘蛛不抓取，301 无法传递权重）。robots.txt 管抓取范围，301 和 404 管状态码，三者配合才能完整控制收录。
更新时间：2026-08-26 21:53:13