35互联虚拟主机robots.txt 写法_禁止抓取目录不误封正文
35互联虚拟主机百度蜘蛛占用流量大，先看访问日志里 Baiduspider 的请求量和流量占比。正常站点蜘蛛流量占 5% 到 15%，超过 30% 就是抓取异常。用 robots.txt 限制抓取目录、调整百度站长平台的抓取频率，能把蜘蛛流量降下来。
robots.txt 完整示例：User-agent: * 下 Disallow: /admin/、Disallow: /install/、Disallow: /?、Disallow: /*?*、Disallow: /temp/、Allow: /。Sitemap: http://域名/sitemap.xml。禁止后台、安装目录、动态参数 URL、临时目录，允许其余内容，末尾提交 sitemap 地址。
配置参考（robots.txt 标准示例）： ``` User-agent: * Disallow: /admin/ Disallow: /install/ Disallow: /temp/ Disallow: /*?* Disallow: /*?page= Allow: /
User-agent: Baiduspider Disallow: /admin/ Disallow: /*?s=
Sitemap: https://域名/sitemap.xml ```
robots.txt 写完用百度站长平台的 robots 检测工具验证，输入要检测的 URL，看是否被允许抓取。也可以用 51.la 统计直接访问 http://域名/robots.txt 确认内容正确。robots.txt 文件必须放在根目录，编码 UTF-8 无 BOM，文件名全小写，否则蜘蛛不识别。
robots.txt 的高级用法：Crawl-delay 参数限制抓取间隔（部分蜘蛛支持，百度不支持），Disallow 配合通配符禁止参数页，Allow 单独放开重要目录。复杂规则写完必须用百度站长平台的 robots 检测工具逐条验证，输入典型 URL 看是否被允许，避免误封整站。
更新时间：2026-08-26 23:43:03
上一篇：FTP连接提示530 Login incorrect怎么办？_用户名密码与服务器地址排查_排查处理方法