屏蔽无用 SEO 蜘蛛正则怎么写_虚拟主机UA屏蔽配置
中资源虚拟主机做屏蔽无用 SEO 蜘蛛，先从访问日志里统计 UA 出现频率。正常浏览器 UA 占 90% 以上，异常 UA 占比高且请求路径集中在列表页、内容页、API 接口，这些就是屏蔽目标。用浏览器开发者工具 Network 确认规则生效后正常浏览器和百度蜘蛛不受影响。
UA 白名单模式适合只允许搜索引擎抓取的场景：RewriteCond %{HTTP_USER_AGENT} !^(.*Baiduspider.*|.*Googlebot.*|.*Bingbot.*)$ [NC]，RewriteRule .* - [F,L]。除了指定搜索引擎，其余 UA 全部 403。注意白名单要把主流搜索引擎都列全，漏掉会导致该引擎不收录。
配置参考（.htaccess 屏蔽指定 UA）： ``` RewriteEngine On RewriteCond %{HTTP_USER_AGENT} ^.*(BadBot|Scrapy|python-requests|AhrefsBot).*$ [NC] RewriteRule .* - [F,L] ```
UA 屏蔽配合 IP 屏蔽效果更好。采集器换 UA 也换 IP，但总有特征重合。UA 规则挡住固定特征的采集器，IP 规则挡住高频攻击 IP，两层拦截能把恶意流量降到 5% 以下。规则都写在根目录配置文件，维护方便。
UA 屏蔽的进阶做法是结合行为分析。单个 IP 1 分钟内请求超过 60 次且 UA 固定，大概率是采集器，自动加入临时黑名单 24 小时。虚拟主机不支持自动脚本，可以每天用 awk 统计访问日志，把高频异常 UA 的 IP 手动加入黑名单，持续 1 周后采集器会换目标，流量明显下降。
UA 白名单模式风险高，只适合内容付费站或内测站。白名单漏掉任何一个搜索引擎都会导致该引擎不收录，百度、Google、Bing、360、搜狗、神马都要列全，还要定期检查是否有新搜索引擎出现。普通站点用黑名单模式更安全，只封明确的恶意 UA。
更新时间：2026-08-26 21:49:15