流量突然超标排查_访问日志awk统计与异常识别
流量突然超标排查时区分正常增长和异常增长。正常增长是访问量和流量同步上升，页面浏览数增加；异常增长是流量暴涨但访问量不变，说明单个请求体积变大（图片未压缩、大文件被下载）或被机器刷。用 curl -I 检测对比百度统计和主机面板的访问量，差距大就是异常流量。
CDN 环境下流量统计要分清 CDN 流量和回源流量。CDN 缓存命中的请求不回源，不计入虚拟主机流量；未命中的回源请求计入。流量突然超标排查时先看 CDN 后台的回源率，回源率超过 30% 说明缓存策略有问题，调整缓存规则能大幅降低主机流量。
配置参考（Apache 开启 Gzip 压缩（.htaccess））：
```
定位原因后对应处理：被盗链配 Referer 防盗链，被采集配 UA 黑名单和 IP 黑名单，被攻击联系客服开防护或临时封禁 IP，自身资源大就压缩图片、合并 CSS JS、开启 Gzip。处理完观察 24 小时，流量下降到正常范围说明根因解决，否则继续排查。
流量优化的投入产出比排序：Gzip 压缩（免费，文本类减 60%）> 图片压缩（免费，减 40%）> 防盗链（免费，盗链严重时减 70%）> CDN（付费，回源减 70%）> 升级流量包（付费，不解决根因）。按这个顺序做，前三项零成本就能把大部分站点流量降到合理范围。
区分攻击和采集的特征：攻击是短时间内大量请求同一 URL（CC 攻击）或 SYN 包（DDoS），UA 随机或空，Referer 为空；采集是按顺序抓取列表页和内容页，UA 固定（如 Scrapy、python-requests），Referer 是自己站点的列表页。攻击要封 IP 或联系客服开防护，采集要封 UA 加 IP。
更新时间：2026-08-27 00:42:45