Linux 虚拟主机按 UA 黑名单拦截_403返回码验证与误封排查
美橙互联虚拟主机做按 UA 黑名单拦截，先从访问日志里统计 UA 出现频率。正常浏览器 UA 占 90% 以上，异常 UA 占比高且请求路径集中在列表页、内容页、API 接口，这些就是屏蔽目标。用百度统计确认规则生效后正常浏览器和百度蜘蛛不受影响。
UA 白名单模式适合只允许搜索引擎抓取的场景：RewriteCond %{HTTP_USER_AGENT} !^(.*Baiduspider.*|.*Googlebot.*|.*Bingbot.*)$ [NC]，RewriteRule .* - [F,L]。除了指定搜索引擎，其余 UA 全部 403。注意白名单要把主流搜索引擎都列全，漏掉会导致该引擎不收录。
配置参考（.htaccess 屏蔽指定 UA）： ``` RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^.*(BadBot|Scrapy|python-requests|AhrefsBot).*$ [NC] RewriteRule .* - [F,L] ```
规则写完用百度统计检测。curl -A "badbot" http://域名返回 403，curl -A "Mozilla/5.0" 返回 200，curl -A "Baiduspider" 返回 200。三个测试都通过才算合格。误封百度蜘蛛会导致抓取失败，站长平台会显示抓取异常，发现后立即把百度蜘蛛 UA 从黑名单移除。
UA 屏蔽的进阶做法是结合行为分析。单个 IP 1 分钟内请求超过 60 次且 UA 固定，大概率是采集器，自动加入临时黑名单 24 小时。虚拟主机不支持自动脚本，可以每天用 awk 统计访问日志，把高频异常 UA 的 IP 手动加入黑名单，持续 1 周后采集器会换目标，流量明显下降。
UA 屏蔽的进阶做法是结合行为分析。单个 IP 1 分钟内请求超过 60 次且 UA 固定，大概率是采集器，自动加入临时黑名单 24 小时。虚拟主机不支持自动脚本，可以每天用 awk 统计访问日志，把高频异常 UA 的 IP 手动加入黑名单，持续 1 周后采集器会换目标，流量明显下降。
更新时间：2026-08-30 20:54:54
上一篇：网站被CDN层恶意跳转处理：CDN配置与回源_全面排查_运维指南_最佳实践
下一篇：