Windows 虚拟主机屏蔽User-Agent访问_屏蔽内容采集器完整步骤
中国数据虚拟主机屏蔽屏蔽内容采集器，Linux 主机在 .htaccess 用 SetEnvIfNoCase 配合 mod_rewrite，Windows 主机在 web.config 用 URL Rewrite 匹配 HTTP_USER_AGENT。UA 匹配不区分大小写，规则写在根目录即时生效，被拦截的请求返回 403 或 404。
IIS web.config 用 URL Rewrite 屏蔽 UA：rule name="Block UA"，match url="(.*)"，conditions 加 input="{HTTP_USER_AGENT}" pattern="badbot|scrapy|python-requests" ignoreCase="true"，action type="CustomResponse" statusCode="403"。ignoreCase=true 不区分大小写。
配置参考（web.config URL Rewrite 屏蔽 UA）：
```
规则写完用百度蜘蛛模拟抓取检测。curl -A "badbot" http://域名返回 403，curl -A "Mozilla/5.0" 返回 200，curl -A "Baiduspider" 返回 200。三个测试都通过才算合格。误封百度蜘蛛会导致抓取失败，站长平台会显示抓取异常，发现后立即把百度蜘蛛 UA 从黑名单移除。
UA 白名单模式风险高，只适合内容付费站或内测站。白名单漏掉任何一个搜索引擎都会导致该引擎不收录，百度、Google、Bing、360、搜狗、神马都要列全，还要定期检查是否有新搜索引擎出现。普通站点用黑名单模式更安全，只封明确的恶意 UA。
更新时间：2026-09-03 15:34:32