虚拟主机robots.txt教程_允许指定蜘蛛与sitemap
允许指定蜘蛛的标准写法：User-agent: Baiduspider 针对百度蜘蛛，User-agent: * 针对所有蜘蛛。Disallow: /admin/ 禁止抓取后台目录，Disallow: /? 禁止抓取带问号的动态 URL，Allow: / 允许抓取全站。规则按顺序匹配，先匹配到的先生效。
robots.txt 只能禁止抓取，不能删除已收录的页面。已经被百度收录的页面，即使 robots.txt 禁止抓取，收录仍会保留（只是不再更新）。要删除收录需要页面返回 404 或 410，再在站长平台提交死链。robots.txt + 404 配合才能彻底清理。
配置参考（robots.txt 只允许百度和 Google）： ``` User-agent: Baiduspider Allow: /
User-agent: Googlebot Allow: /
User-agent: * Disallow: / ```
robots.txt 放在错误目录是常见坑。Disallow: /admin 会匹配 /admin、/adminabc、/admin/xxx，要精确禁止目录用 Disallow: /admin/（带尾斜杠）。Allow 优先级在百度蜘蛛里是"最具体的规则优先"，不是简单的先到先得，写复杂规则前用检测工具验证。
百度蜘蛛流量大但收录少，通常是抓取了大量低价值页面。优化方向：robots.txt 禁止搜索结果页、筛选页、分页参数、标签云；页面加 canonical 指向主版本；sitemap 只提交高质量页面。蜘蛛抓取配额集中到正文页后，收录量和排名都会提升，流量反而下降。
robots.txt 的高级用法：Crawl-delay 参数限制抓取间隔（部分蜘蛛支持，百度不支持），Disallow 配合通配符禁止参数页，Allow 单独放开重要目录。复杂规则写完必须用百度站长平台的 robots 检测工具逐条验证，输入典型 URL 看是否被允许，避免误封整站。
更新时间：2026-08-26 22:40:30