我的知识记录

腾讯云虚拟主机屏蔽 API 调用 UA_web.config与.htaccess规则对照

腾讯云虚拟主机屏蔽屏蔽 API 调用 UA,Linux 主机在 .htaccess 用 SetEnvIfNoCase 配合 mod_rewrite,Windows 主机在 web.config 用 URL Rewrite 匹配 HTTP_USER_AGENT。UA 匹配不区分大小写,规则写在根目录即时生效,被拦截的请求返回 403 或 404。

SetEnvIfNoCase 方式更简洁:SetEnvIfNoCase User-Agent "badbot|scrapy" bad_bot,Order Allow,Deny,Allow from all,Deny from env=bad_bot。这种方式把 UA 匹配和访问控制分开,规则可读性好,适合长期维护的黑名单。

配置参考(.htaccess SetEnvIf UA 黑名单): ``` SetEnvIfNoCase User-Agent "badbot|scrapy|curl" bad_ua Order Allow,Deny Allow from all Deny from env=bad_ua ```

UA 屏蔽配合 IP 屏蔽效果更好。采集器换 UA 也换 IP,但总有特征重合。UA 规则挡住固定特征的采集器,IP 规则挡住高频攻击 IP,两层拦截能把恶意流量降到 5% 以下。规则都写在根目录配置文件,维护方便。

UA 屏蔽的进阶做法是结合行为分析。单个 IP 1 分钟内请求超过 60 次且 UA 固定,大概率是采集器,自动加入临时黑名单 24 小时。虚拟主机不支持自动脚本,可以每天用 awk 统计访问日志,把高频异常 UA 的 IP 手动加入黑名单,持续 1 周后采集器会换目标,流量明显下降。

UA 屏蔽的进阶做法是结合行为分析。单个 IP 1 分钟内请求超过 60 次且 UA 固定,大概率是采集器,自动加入临时黑名单 24 小时。虚拟主机不支持自动脚本,可以每天用 awk 统计访问日志,把高频异常 UA 的 IP 手动加入黑名单,持续 1 周后采集器会换目标,流量明显下降。

腾讯云虚拟主机屏蔽 API 调用 UA_web.config与.htaccess规则对照

标签:

更新时间:2026-08-27 13:06:09

上一篇:怎么修改excel创建时间不影响公式_表格公式和数据完整_验证

下一篇:虚拟主机robots.txt教程_蜘蛛抓取重复页面与sitemap