时代互联虚拟主机Apache 虚拟主机环境屏蔽伪造百度蜘蛛_采集器拦截实操
很多站长遇到屏蔽伪造百度蜘蛛直接封 IP，但采集器用代理池 IP 一直换，封不完。UA 屏蔽从请求头入手，不管 IP 怎么换，UA 特征不变就能拦住。Apache 虚拟主机主机配置门槛低，10 分钟写完规则。
SetEnvIfNoCase 方式更简洁：SetEnvIfNoCase User-Agent "badbot|scrapy" bad_bot，Order Allow,Deny，Allow from all，Deny from env=bad_bot。这种方式把 UA 匹配和访问控制分开，规则可读性好，适合长期维护的黑名单。
配置参考（.htaccess 屏蔽空 UA）： ``` RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^$ [OR] RewriteCond %{HTTP_USER_AGENT} ^-?$ RewriteRule .* - [F,L] ```
UA 黑名单维护建议按季度更新。新的采集器 UA 不断出现，从访问日志里统计 Top 20 的非浏览器 UA，排除正常搜索引擎后加入黑名单。长期不用的 UA 从规则里移除，保持规则文件精简，单条规则的 UA 不超过 30 个，过长的正则影响匹配性能。
UA 白名单模式风险高，只适合内容付费站或内测站。白名单漏掉任何一个搜索引擎都会导致该引擎不收录，百度、Google、Bing、360、搜狗、神马都要列全，还要定期检查是否有新搜索引擎出现。普通站点用黑名单模式更安全，只封明确的恶意 UA。
UA 屏蔽的进阶做法是结合行为分析。单个 IP 1 分钟内请求超过 60 次且 UA 固定，大概率是采集器，自动加入临时黑名单 24 小时。虚拟主机不支持自动脚本，可以每天用 awk 统计访问日志，把高频异常 UA 的 IP 手动加入黑名单，持续 1 周后采集器会换目标，流量明显下降。
UA 屏蔽对 SEO 的直接影响很小，因为正常搜索引擎 UA 不在黑名单里。间接影响是屏蔽采集器后内容不被镜像，原创内容排名更集中。屏蔽无用 SEO 蜘蛛（Ahrefs、Semrush 等）能省流量，但这些蜘蛛不影响百度排名，封不封看流量紧张程度。
更新时间：2026-09-03 15:18:45