万网虚拟主机Linux 虚拟主机环境屏蔽爬虫采集内容_采集器拦截实操
万网虚拟主机做屏蔽爬虫采集内容，先从访问日志里统计 UA 出现频率。正常浏览器 UA 占 90% 以上，异常 UA 占比高且请求路径集中在列表页、内容页、API 接口，这些就是屏蔽目标。用 curl -I 检测确认规则生效后正常浏览器和百度蜘蛛不受影响。
IIS 也可以用请求筛选（requestFiltering）的 filteringRules，但 URL Rewrite 更灵活，支持正则和多条件。规则加在 system.webServer/rewrite/rules 节点，stopProcessing="true" 防止被后续规则覆盖。web.config 修改前备份，语法错误整站 500.19。
配置参考（web.config URL Rewrite 屏蔽 UA）：
```
UA 屏蔽配合 IP 屏蔽效果更好。采集器换 UA 也换 IP，但总有特征重合。UA 规则挡住固定特征的采集器，IP 规则挡住高频攻击 IP，两层拦截能把恶意流量降到 5% 以下。规则都写在根目录配置文件，维护方便。
UA 白名单模式风险高，只适合内容付费站或内测站。白名单漏掉任何一个搜索引擎都会导致该引擎不收录，百度、Google、Bing、360、搜狗、神马都要列全，还要定期检查是否有新搜索引擎出现。普通站点用黑名单模式更安全，只封明确的恶意 UA。
更新时间：2026-08-26 21:02:57
上一篇：景安虚拟主机mp4 MIME_IIS mimeMap与Apache AddType