虚拟主机屏蔽脚本请求 UA指南_不误封百度蜘蛛的写法
虚拟主机做屏蔽脚本请求 UA，核心是准确识别 UA 字符串。屏蔽脚本请求 UA 的 UA 通常有固定特征，比如包含 bot、spider、crawler、scrapy、python-requests。用正则匹配这些特征，一条规则能挡住一类采集器，不用逐个加 IP。
CDN 环境下 UA 头会透传，不需要额外配置。但部分 CDN 会修改 UA 或加上自己的标识，屏蔽前先在访问日志里确认实际到达服务器的 UA 字符串，按真实字符串写正则，否则规则匹配不到。
配置参考（web.config 屏蔽空 UA）：
```
规则写完用百度蜘蛛模拟抓取检测。curl -A "badbot" http://域名返回 403，curl -A "Mozilla/5.0" 返回 200，curl -A "Baiduspider" 返回 200。三个测试都通过才算合格。误封百度蜘蛛会导致抓取失败，站长平台会显示抓取异常，发现后立即把百度蜘蛛 UA 从黑名单移除。
UA 屏蔽对 SEO 的直接影响很小，因为正常搜索引擎 UA 不在黑名单里。间接影响是屏蔽采集器后内容不被镜像，原创内容排名更集中。屏蔽无用 SEO 蜘蛛（Ahrefs、Semrush 等）能省流量，但这些蜘蛛不影响百度排名，封不封看流量紧张程度。
UA 白名单模式风险高，只适合内容付费站或内测站。白名单漏掉任何一个搜索引擎都会导致该引擎不收录，百度、Google、Bing、360、搜狗、神马都要列全，还要定期检查是否有新搜索引擎出现。普通站点用黑名单模式更安全，只封明确的恶意 UA。
更新时间：2026-08-27 11:55:53
上一篇：虚拟主机网站证书错误_修复实操