美橙互联虚拟主机屏蔽爬虫采集内容_web.config与.htaccess规则对照
美橙互联虚拟主机屏蔽屏蔽爬虫采集内容，Linux 主机在 .htaccess 用 SetEnvIfNoCase 配合 mod_rewrite，Windows 主机在 web.config 用 URL Rewrite 匹配 HTTP_USER_AGENT。UA 匹配不区分大小写，规则写在根目录即时生效，被拦截的请求返回 403 或 404。
IIS 也可以用请求筛选（requestFiltering）的 filteringRules，但 URL Rewrite 更灵活，支持正则和多条件。规则加在 system.webServer/rewrite/rules 节点，stopProcessing="true" 防止被后续规则覆盖。web.config 修改前备份，语法错误整站 500.19。
配置参考（web.config 屏蔽空 UA）：
```
UA 黑名单维护建议按季度更新。新的采集器 UA 不断出现，从访问日志里统计 Top 20 的非浏览器 UA，排除正常搜索引擎后加入黑名单。长期不用的 UA 从规则里移除，保持规则文件精简，单条规则的 UA 不超过 30 个，过长的正则影响匹配性能。
UA 白名单模式风险高，只适合内容付费站或内测站。白名单漏掉任何一个搜索引擎都会导致该引擎不收录，百度、Google、Bing、360、搜狗、神马都要列全，还要定期检查是否有新搜索引擎出现。普通站点用黑名单模式更安全，只封明确的恶意 UA。
更新时间：2026-08-27 00:32:46
上一篇：IIS脚本映射移动端适配伪静态_IIS脚本映射伪静态教程详解