万网虚拟主机按 UA 黑名单拦截_web.config与.htaccess规则对照
按 UA 黑名单拦截是应对内容采集、恶意扫描的常用手段。万网虚拟主机上配置 UA 黑名单后，访问日志里对应 UA 的请求返回 403，带宽和 CPU 占用下降。注意不要误封百度、Google、Bing 等正常搜索引擎，否则收录会掉。
Apache .htaccess 屏蔽 UA：RewriteEngine On，RewriteCond %{HTTP_USER_AGENT} ^.*(bot1|bot2|scrapy).*$ [NC]，RewriteRule .* - [F,L]。[NC] 不区分大小写，[F] 返回 403，[L] 停止后续规则。多个 UA 用 | 分隔，一条规则搞定。
配置参考（.htaccess UA 白名单只允许搜索引擎）： ``` RewriteEngine On RewriteCond %{HTTP_USER_AGENT} !^(.*Baiduspider.*|.*Googlebot.*|.*Bingbot.*|.*Sogou.*)$ [NC] RewriteRule .* - [F,L] ```
URL Rewrite 模块未安装是常见坑。UA 匹配一定要加 [NC] 或 ignoreCase=true，否则 BadBot 和 badbot 会被当成两个 UA。正则里的点号要转义成 .，否则 . 匹配任意字符导致误杀。写规则前用在线正则测试工具验证匹配范围。
UA 屏蔽的进阶做法是结合行为分析。单个 IP 1 分钟内请求超过 60 次且 UA 固定，大概率是采集器，自动加入临时黑名单 24 小时。虚拟主机不支持自动脚本，可以每天用 awk 统计访问日志，把高频异常 UA 的 IP 手动加入黑名单，持续 1 周后采集器会换目标，流量明显下降。
UA 屏蔽的进阶做法是结合行为分析。单个 IP 1 分钟内请求超过 60 次且 UA 固定，大概率是采集器，自动加入临时黑名单 24 小时。虚拟主机不支持自动脚本，可以每天用 awk 统计访问日志，把高频异常 UA 的 IP 手动加入黑名单，持续 1 周后采集器会换目标，流量明显下降。
更新时间：2026-08-26 23:12:31