虚拟主机屏蔽扫描器 UA指南_不误封百度蜘蛛的写法
屏蔽扫描器 UA 是应对内容采集、恶意扫描的常用手段。阿里云虚拟主机上配置 UA 黑名单后，访问日志里对应 UA 的请求返回 403，带宽和 CPU 占用下降。注意不要误封百度、Google、Bing 等正常搜索引擎，否则收录会掉。
IIS web.config 用 URL Rewrite 屏蔽 UA：rule name="Block UA"，match url="(.*)"，conditions 加 input="{HTTP_USER_AGENT}" pattern="badbot|scrapy|python-requests" ignoreCase="true"，action type="CustomResponse" statusCode="403"。ignoreCase=true 不区分大小写。
配置参考（web.config 屏蔽空 UA）：
```
UA 屏蔽配合 IP 屏蔽效果更好。采集器换 UA 也换 IP，但总有特征重合。UA 规则挡住固定特征的采集器，IP 规则挡住高频攻击 IP，两层拦截能把恶意流量降到 5% 以下。规则都写在根目录配置文件，维护方便。
UA 屏蔽的进阶做法是结合行为分析。单个 IP 1 分钟内请求超过 60 次且 UA 固定，大概率是采集器，自动加入临时黑名单 24 小时。虚拟主机不支持自动脚本，可以每天用 awk 统计访问日志，把高频异常 UA 的 IP 手动加入黑名单，持续 1 周后采集器会换目标，流量明显下降。
更新时间：2026-08-26 20:39:12