景安虚拟主机屏蔽伪造百度蜘蛛配置教程_宝塔面板UA黑名单正则
虚拟主机做屏蔽伪造百度蜘蛛，核心是准确识别 UA 字符串。屏蔽伪造百度蜘蛛的 UA 通常有固定特征，比如包含 bot、spider、crawler、scrapy、python-requests。用正则匹配这些特征，一条规则能挡住一类采集器，不用逐个加 IP。
屏蔽空 UA：conditions 加 input="{HTTP_USER_AGENT}" pattern="^$"，匹配空字符串返回 403。也可以加 pattern="^-?$" 匹配横杠。空 UA 请求在访问日志里 cs(User-Agent) 字段为空，通常是扫描器或健康检查脚本。
配置参考（web.config 屏蔽空 UA）：
```
UA 黑名单维护建议按季度更新。新的采集器 UA 不断出现，从访问日志里统计 Top 20 的非浏览器 UA，排除正常搜索引擎后加入黑名单。长期不用的 UA 从规则里移除，保持规则文件精简，单条规则的 UA 不超过 30 个，过长的正则影响匹配性能。
UA 屏蔽的进阶做法是结合行为分析。单个 IP 1 分钟内请求超过 60 次且 UA 固定，大概率是采集器，自动加入临时黑名单 24 小时。虚拟主机不支持自动脚本，可以每天用 awk 统计访问日志，把高频异常 UA 的 IP 手动加入黑名单，持续 1 周后采集器会换目标，流量明显下降。
UA 屏蔽对 SEO 的直接影响很小，因为正常搜索引擎 UA 不在黑名单里。间接影响是屏蔽采集器后内容不被镜像，原创内容排名更集中。屏蔽无用 SEO 蜘蛛（Ahrefs、Semrush 等）能省流量，但这些蜘蛛不影响百度排名，封不封看流量紧张程度。
更新时间：2026-08-26 20:47:08
上一篇：网站服务器遭受命令注入攻击的原理说明与代码修复方案_网站安全运维实战指南