一篇内容被大号转载,十分钟内 PV 从每分钟两千涨到每分钟五万;或者活动页面在整点开放,瞬间涌入平时二十倍的流量。监控告警连响,Nginx 的 active connections 打满,数据库连接池排队,首页开始返回 502。这种"突发流量"和日常的"高并发"最大的区别在于:你没有时间做完整的架构改造,必须在几十分钟内做出一系列决策,而且每一步决策都有代价。本文按时间顺序梳理一套可执行的应对方案——先止血,再扩容,再分流,最后沉淀成常态化能力。
一、前五分钟:先判断是哪种"涨"
盲目扩容是最贵的错误。在动手之前,先用两分钟区分流量的性质,因为不同性质的应对方式完全不同。
| 流量类型 | 特征 | 典型来源 | 首要应对 |
|---|---|---|---|
| 正常热点 | UV 与 PV 同步上涨,来源集中,跳出率正常 | 被转载、上热搜、活动开始 | 扩容 + 加缓存 |
| 爬虫/采集 | UV 低 PV 极高,UA 集中,URL 遍历规律 | 采集站、竞品爬取 | 限流 + UA/频率封禁 |
| 攻击流量 | 来源分散、无 Cookie、命中率低、常伴扫描行为 | CC 攻击、压测工具 | WAF/限流 + 高防 IP |
| 自身故障放大 | 失败率上升伴随 QPS 上升(重试风暴) | 客户端重试、CDN 回源重试 | 修复根因 + 关闭前端重试 |
快速判断的三条命令,能在几十秒内给出结论:
# 1. 实时 QPS 与状态分布(按状态码统计)
tail -n 20000 /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c | sort -rn
# 2. Top 20 来源 IP 与访问次数,判断是否为单点爬虫
awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -rn | head -20
# 3. Top 10 被请求 URL,判断是否集中在某个接口
awk -F'"' '{print $2}' /var/log/nginx/access.log | awk '{print $2}' | sort | uniq -c | sort -rn | head -10
如果发现某几个 IP 占了总请求的三成以上,那是爬虫或攻击,扩容毫无意义,应该立刻限流;如果 URL 集中在首页和几个列表页,那是正常热点,扩容加缓存就能解决;如果发现 5xx 比例在上升而 QPS 也在涨,先怀疑重试风暴——客户端或 CDN 在疯狂重试已经失败的请求,此时扩容只会让下游更糟。
二、止血:限流与降级
在扩容生效之前(云主机通常需要几分钟才能交付),先把系统保护住。核心原则是宁可让部分请求失败,也不要让所有请求变慢——因为慢请求会占用连接,导致雪崩。
第一招是 Nginx 限流。limit_req_zone 按 IP 限速,limit_conn_zone 限制单 IP 并发连接:
http {
# 按 IP 限请求速率:10MB 内存约可记录 16 万个 IP
limit_req_zone $binary_remote_addr zone=req_perip:10m rate=20r/s;
# 按 IP 限并发连接
limit_conn_zone $binary_remote_addr zone=conn_perip:10m;
server {
location / {
limit_req zone=req_perip burst=40 nodelay;
limit_conn conn_perip 20;
limit_req_status 429;
limit_conn_status 429;
proxy_pass http://app_backend;
}
# 静态资源放宽限制,避免误伤正常页面
location ~* \.(jpg|jpeg|png|gif|css|js|woff2)$ {
limit_req zone=req_perip burst=200 nodelay;
proxy_pass http://app_backend;
}
}
}
burst=40 nodelay 的含义:允许突发 40 个请求立即通过,超出的直接返回 429。如果不加 nodelay,超出部分会排队等待,反而增加延迟。生产上建议把 rate 设为平时单用户访问频率的 3-5 倍,例如普通站点 20r/s 已经很宽松。
第二招是降级:把非核心功能关掉。具体做法包括在 Nginx 层直接返回静态兜底页面(关闭评论、推荐位、排行榜)、把耗时接口改成返回缓存快照、关闭站内搜索和报表导出。降级的判断标准是"这个功能挂了用户还能不能完成主流程"——能完成就降级,不能完成才保。
第三招是静态化兜底:把首页、活动页提前生成静态 HTML,在后端整体不可用时由 Nginx 直接返回:
location = / {
# 后端返回 5xx 时使用静态兜底页,用户无感知
proxy_pass http://app_backend;
proxy_intercept_errors on;
error_page 502 503 504 =200 /fallback/index.html;
}
location /fallback/ {
root /data/www;
internal;
}
三、扩容:垂直与横向怎么配合
止血之后立刻扩容。扩容分两种,使用顺序通常是"先垂直、后横向"。
垂直扩容(Scale Up)指提升单机配置。它的优势是快——云厂商的 CPU/内存升级往往几分钟内生效,且不需要改动任何架构;劣势是有上限,且通常需要重启。适合作为应急第一步:把 4C8G 升到 8C16G,先扛住第一波。
横向扩容(Scale Out)指增加机器数量。它才是长期方案,但前提是应用已经无状态化(Session 在 Redis、文件在对象存储)。如果没有预先做负载均衡,临时加机器需要先在入口加一层 Nginx upstream,把新机器挂进去。
这里有个关键判断:扩容能不能真正提升容量,取决于瓶颈在哪一层。
- CPU 密集(PHP/Python 渲染、加解密、图片处理):加机器效果最好,QPS 近似线性增长。
- 内存/缓存密集:加机器有效,但要注意单机内存不宜过大,否则 GC 或 fork 开销上升。
- I/O 密集(数据库、磁盘):加 Web 机器基本无效,瓶颈会立刻转移到数据库。
- 下游受限(数据库连接池满、Redis 单线程打满):加机器反而会让下游更快崩溃。
验证扩容是否有效的唯一方法,是看 QPS 与资源水位的曲线关系:加一倍机器,QPS 应该提升 80% 以上;如果只提升 20%,说明瓶颈不在 Web 层,必须停下来查下游。
四、缓存:花最小代价换最大容量
突发流量里,绝大多数请求是重复的——同一篇热门文章被反复读取。这类流量的最优解不是加机器,而是让请求根本不到应用层和数据库。
缓存要分三层来做,从外到内依次拦截:
- 浏览器与 CDN 层:对静态资源设置
Cache-Control: max-age,对热点页面设置 CDN 短缓存(如 60s-300s)。这能挡掉 70%-90% 的重复请求,成本最低。 - Nginx 代理缓存层:用
proxy_cache缓存完整的 HTTP 响应,热点页面直接由 Nginx 返回,完全不经过后端。 - 应用层缓存(Redis):缓存数据库查询结果、渲染片段、会话数据,减少数据库压力。
Nginx 代理缓存在突发流量下特别有效,配置如下:
http {
proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=hot_cache:100m
max_size=10g inactive=60m use_temp_path=off;
server {
location / {
proxy_cache hot_cache;
proxy_cache_key "$scheme$request_method$host$request_uri";
proxy_cache_valid 200 302 60s;
proxy_cache_valid 404 10s;
proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
proxy_cache_background_update on;
proxy_cache_lock on;
add_header X-Cache-Status $upstream_cache_status;
proxy_pass http://app_backend;
}
}
}
proxy_cache_use_stale 是这里的关键:当后端已经出错或正在更新缓存时,Nginx 会返回过期的旧数据而不是报错。对资讯、商品详情这类场景,返回 60 秒前的旧数据远好于返回 502。proxy_cache_lock 则防止缓存失效瞬间大量请求同时穿透到后端(即缓存击穿)。
判断缓存是否生效,看响应头 X-Cache-Status:HIT 表示命中、MISS 表示未命中、EXPIRED 表示过期回源、BYPASS 表示被绕过。目标是把热点 URL 的 HIT 率做到 90% 以上。
五、流量分流:把压力搬到更便宜的地方
除了加机器和加缓存,还有一类手段叫"分流"——不改变总流量,而是改变流量到达的路径和时机。
| 分流手段 | 做法 | 效果 | 代价 |
|---|---|---|---|
| CDN 承接静态 | 图片/CSS/JS 走独立域名接入 CDN | 源站带宽下降 80%+,首屏更快 | 需要改资源 URL 与缓存刷新机制 |
| 读写分离 | 读请求走从库,写请求走主库 | 读容量大幅提升 | 主从延迟带来的数据不一致 |
| 消息队列削峰 | 下单/发券等写操作异步化 | 峰值流量平滑到分钟级处理 | 用户需等待,需改造为异步流程 |
| 动静分离 | 静态资源独立部署、独立域名 | 动态请求的连接不再被静态占用 | 需要额外维护静态资源站点 |
| 入口排队 | 超过容量时让用户排队等待 | 系统始终处于健康水位 | 用户体验下降,但优于报错 |
其中动静分离是最应该优先做的一件事。原因很实际:一个典型页面会有 30-60 个静态资源请求,而动态请求只有 1-3 个。如果它们共用一个域名和一个 Nginx,大量的静态请求会占用连接槽位和 worker 时间,把真正值钱的动态请求挤掉。把静态资源迁到 static.example.com 并接入 CDN,往往不需要加一台服务器就能让动态容量翻几倍。
六、常态化:把应急变成预案
突发流量不应每次都靠临时发挥。事后应该把这次经验固化成三样东西:
- 容量基线:压测得出单机 QPS 与集群总容量,明确"多少 QPS 需要几台机器",并记录在文档里。没有基线,下次还是靠猜。
- 弹性扩容脚本:把"创建新主机 → 装依赖 → 拉代码 → 注册到 upstream → 健康检查通过"做成脚本或镜像 + 自动化流程,把扩容时间从小时级压到分钟级。
- 分级告警:设置 QPS、CPU、连接数、5xx 比例、数据库慢查询数五个指标的告警阈值,在到达瓶颈 70% 时就预警,而不是等崩了才响。
监控侧建议至少保留这几个实时指标,它们是判断系统是否进入饱和区的依据:
# 系统层:负载、CPU、内存、磁盘 I/O
uptime
top -bn1 | head -20
free -m
iostat -x 1 3
# 网络层:连接数与状态分布
ss -s
ss -ant | awk '{print $1}' | sort | uniq -c
# Nginx 层:活跃连接与请求速率(需开启 stub_status)
curl -s http://127.0.0.1/nginx_status
# 应用层:实时 5xx 计数
tail -f /var/log/nginx/access.log | awk '$9 >= 500 {print $7}' | sort | uniq -c
Nginx 状态页的开启方式,只需一个 location:
location = /nginx_status {
stub_status;
allow 127.0.0.1;
deny all;
}
输出的三个数字含义:Reading 是正在读取请求头的连接数,Writing 是正在写响应的连接数,Waiting 是 keepalive 空闲连接数。判断标准是:如果 Writing 持续接近 worker_connections × worker_processes,说明连接已经饱和,请求开始排队。
小结
应对网站访问量突然增长,正确的顺序是判断性质 → 止血(限流降级)→ 扩容(先垂直后横向)→ 加缓存 → 做分流 → 事后固化成预案。其中最容易做错的一步,是不分辨流量类型就直接扩容:如果来的是爬虫或攻击,扩容只会让账单变长而不解决问题。
避坑清单:
- 不要在没限流的情况下裸奔扩容。新机器起来之前,旧机器可能已经被打挂,先限流保住核心用户。
- 不要忽视重试风暴。App 端或网关的自动重试会在后端变慢时把 QPS 放大数倍,必要时临时关闭客户端重试。
- 缓存必须有兜底。
proxy_cache_use_stale和空值缓存能防止缓存失效瞬间的穿透,没有兜底的缓存在关键时刻等于没有缓存。 - 数据库连接池要同步调整。Web 层加了机器,连接数也会等比例增加,很可能打满 MySQL 的
max_connections(默认 151)。扩容时务必同步核算连接池上限。 - 不要临时改架构。突发流量时最忌讳现场改造核心链路,任何架构级变更都应该放在流量回落之后。
- 保留现场数据。应急时先保存一份
ss -s、top、Nginx 日志切片,事后复盘和容量评估都依赖这些数据。
本文命令在 CentOS 7+/Ubuntu 20.04+ 通用,Nginx 版本 1.18+。stub_status、limit_req、proxy_cache 均为 Nginx 开源版内置功能,无需额外模块。
企业QQ咨询




