被采集流量排查_访问日志awk统计与异常识别
虚拟主机流量超标通常有四类原因：被盗链、被采集、被攻击、自身资源过大。被采集流量排查时先看访问日志 Top 20 IP，正常用户 IP 分散，异常 IP 请求集中、UA 单一、Referer 为空或固定。定位原因后针对性处理，升级流量是兜底方案。
流量按请求体积算，不是按访问次数。一个 5MB 的图片被请求 1000 次就是 5GB 流量，一个 50KB 的页面被请求 10 万次才 5GB。被采集流量排查时重点看 Top URL 的响应大小，大文件（mp4/pdf/zip/高清图）排在前面就是资源问题，排在前面的是动态页面就是被采集或攻击。
配置参考（IIS 开启 Gzip 压缩（web.config））：
```
CDN 流量与主机流量重复计算是排查中常见的干扰。日志文件太大（超过 100MB）用 Excel 打开会卡，用 awk 或 grep 筛选关键词。统计口径不一致时，以主机面板的流量为准，那是计费依据。CDN 流量和主机流量是两笔账，不要混在一起算。
区分攻击和采集的特征：攻击是短时间内大量请求同一 URL（CC 攻击）或 SYN 包（DDoS），UA 随机或空，Referer 为空；采集是按顺序抓取列表页和内容页，UA 固定（如 Scrapy、python-requests），Referer 是自己站点的列表页。攻击要封 IP 或联系客服开防护，采集要封 UA 加 IP。
更新时间：2026-08-26 20:27:37