你已经有了三台配置一样的后端服务器,Nginx 也装好了,接下来打开 nginx.conf 却卡住了:upstream 该写在哪里?weight 数字到底代表什么比例?为什么加了 ip_hash 之后三台机器的负载变得极不均匀,其中一台 CPU 跑到 90% 另外两台只有 20%?这些问题几乎每个第一次配 Nginx 负载均衡的人都会遇到。本文把 upstream 的几种调度策略逐个拆开讲,给出可直接复制的完整配置,并说明每种策略在什么条件下该用、什么条件下不能用。
一、upstream 块:配置放哪里、怎么组织
Nginx 的负载均衡配置由两部分组成:一个 upstream 块定义后端服务器池,一个 proxy_pass 把请求引到这个池。upstream 只能写在 http 上下文中,不能放进 server 或 location。
推荐的组织方式是主配置文件用 include 拆目录,避免所有站点挤在一个文件里:
# /etc/nginx/nginx.conf 的 http 段
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" '
'upstream=$upstream_addr '
'rt=$request_time urt=$upstream_response_time '
'status=$upstream_status';
access_log /var/log/nginx/access.log main;
include /etc/nginx/conf.d/*.conf;
include /etc/nginx/upstreams/*.conf;
}
然后在 /etc/nginx/upstreams/app.conf 里定义池子:
upstream app_backend {
server 10.0.0.11:8080;
server 10.0.0.12:8080;
server 10.0.0.13:8080;
}
server {
listen 80;
server_name www.example.com;
location / {
proxy_pass http://app_backend;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
}
这里有两个经常被忽略但很重要的细节。第一,proxy_http_version 1.1 配合 proxy_set_header Connection "":Nginx 默认用 HTTP/1.0 与后端通信且不复用连接,每一次请求都要新建 TCP 连接,在高 QPS 下会迅速耗尽后端端口并产生大量 TIME_WAIT。改成 1.1 并清空 Connection 头,才能启用下面要讲的 keepalive 连接池。
第二,日志格式里的三个变量:$upstream_addr 记录请求实际落到了哪台机器,$upstream_response_time 记录后端处理耗时,$upstream_status 记录后端返回码。没有这三个变量,负载均衡出问题后你根本无法判断是哪一台后端在拖后腿。这是排查负载均衡故障最重要的一组数据。
二、轮询(round-robin):默认策略与其适用边界
不写任何调度指令时,Nginx 使用的就是加权轮询,默认每台 weight=1。请求按严格顺序依次分发:第 1 个给 11,第 2 个给 12,第 3 个给 13,第 4 个回到 11。
轮询成立的前提是后端处理能力一致、且每个请求的处理成本接近。一旦这两个条件被打破,问题就来了:假设某台机器上有个请求要跑 3 秒的报表导出,轮询仍会均等地把后续请求分给它,结果就是这台机器的连接堆积、响应时间飙升,而其他两台闲着。
所以轮询适合的场景是:后端机器配置完全相同、接口以短平快的 CRUD 为主、P50 与 P99 差距不大(比如都在 50ms 以内)。如果这个描述不符合你的业务,就应该用 least_conn。
三、权重(weight):混布环境的比例控制
生产环境里后端配置往往不一致:老机器是 8 核 16G,新采购的是 16 核 32G;或者有几台机器还要跑别的业务,不能吃满。这时用 weight 指定比例。
upstream app_backend {
server 10.0.0.11:8080 weight=5; # 16C32G,承担约 50%
server 10.0.0.12:8080 weight=3; # 16C32G,但同机还跑其他服务
server 10.0.0.13:8080 weight=2; # 8C16G 老机器,承担约 20%
}
权重是相对值不是绝对值:上面的配置意味着每 10 个请求中,11 拿 5 个、12 拿 3 个、13 拿 2 个。注意两点:权重比例应该参照实际压测出的单机 QPS 能力来定,而不是拍脑袋按 CPU 核数算;权重差异不要超过 3 倍,否则一旦高权重机器故障,剩下的机器会瞬间被压垮。
权重还经常用于灰度发布:把新版本机器的 weight 设为 1,其余旧版本设为 10,新版本只吃约 9% 的流量,观察日志里 $upstream_status 的错误率和 $upstream_response_time 的 P99,确认正常后再逐步调高,直到全部切换。这种方式比"一次性切流"安全得多。
四、ip_hash:会话保持的正确用法与陷阱
ip_hash 按客户端 IP 计算哈希,保证同一个客户端 IP 的请求始终落到同一台后端。它的存在主要是为了解决"应用在后端本地保存 Session"的老架构问题。
upstream app_backend {
ip_hash;
server 10.0.0.11:8080;
server 10.0.0.12:8080;
server 10.0.0.13:8080 down; # 摘除维修,哈希环中保留位置
}
使用 ip_hash 时必须知道的几个限制:
- 哈希粒度是 IPv4 前三段(即 /24),IPv6 使用整个地址。同一出口 NAT 后的所有用户会被视为同一个客户端。
- 负载容易严重不均。移动端用户经由基站 NAT 出口、企业用户经由统一网关出口,会导致某些 IP 段汇聚几十万用户,其中一台后端被打满而其他后端空闲。这是 ip_hash 最常见的故障表现。
- 摘除节点要用
down而不是删除。直接删掉一台 server 会让哈希环重排,大部分用户的会话失效;用down标记,Nginx 会保留其在哈希表中的位置,只影响原本落在它上面的那部分用户。 ip_hash与weight可以共存,但权重会作用于哈希桶的分配,效果不如轮询下直观。- 在
ip_hash模式下,backup参数不可用。
更现代的做法是彻底无状态化:把 Session 存进 Redis,让任何一台后端都能处理任何请求,调度策略就可以自由地用 least_conn。只有短期无法改造的遗留系统才用 ip_hash 过渡。如果需要按用户维度(而不是 IP 维度)做一致路由,应该用下面要讲的 hash 指令配合 Cookie。
五、least_conn 与 hash:两种更精细的策略
least_conn 把新请求交给当前活跃连接数最少的后端,能自然应对请求耗时差异大的场景,是生产环境的推荐默认值。与 weight 配合后,比较的是"活跃连接数 / 权重"的比值。
upstream app_backend {
least_conn;
server 10.0.0.11:8080 weight=2;
server 10.0.0.12:8080 weight=2;
server 10.0.0.13:8080 weight=1;
}
hash 允许自定义哈希 key。按 URI 哈希可以让同一份资源始终落到同一台后端,提升后端本地缓存命中率;按 Cookie 哈希可以实现用户维度的会话保持,比 ip_hash 精确得多。
upstream app_backend {
hash $request_uri consistent; # 一致性哈希,节点增减只迁移部分 key
# hash $cookie_uid consistent; # 按用户 ID 做会话保持
server 10.0.0.11:8080;
server 10.0.0.12:8080;
server 10.0.0.13:8080;
}
consistent 关键字启用 ketama 一致性哈希。没有它时,后端数量变化会导致几乎所有 key 重新映射,缓存命中率断崖式下跌;加上它之后,增减一台节点只影响约 1/N 的 key。对缓存类后端(如图片处理服务、本地缓存的 API)来说这个参数是必需的。
六、策略速查、完整配置示例与验证步骤
6.1 策略速查表
| 策略 | 指令 | 分发依据 | 适用场景 | 主要风险 |
|---|---|---|---|---|
| 轮询 | (默认) | 顺序轮转 | 同构后端、耗时均匀 | 慢请求堆积造成不均 |
| 加权轮询 | weight=n | 权重比例 | 异构机器、灰度发布 | 权重差异过大会放大故障 |
| 最少连接 | least_conn | 活跃连接数/权重 | 耗时差异大的 API | 几乎无,推荐默认 |
| IP 哈希 | ip_hash | 客户端 IP 前三段 | 遗留本地 Session 系统 | NAT 导致严重不均;不支持 backup |
| 一致性哈希 | hash $key consistent | URI/Cookie/自定义变量 | 缓存类后端、用户级路由 | key 选择不当仍会倾斜 |
其他几个必配的 server 参数:
max_fails=n:在fail_timeout窗口内失败 n 次则判定节点不可用,默认 1。fail_timeout=Ns:既是失败统计窗口,也是判定不可用后的隔离时长,默认 10s。backup:标记为备份节点,只有所有主节点不可用时才启用。down:手动标记为永久不可用,常用于摘机维护。
6.2 完整生产配置示例
下面是一份整合了连接池、健康检查、超时控制与重试策略的完整 upstream 配置:
upstream app_backend {
least_conn;
server 10.0.0.11:8080 weight=2 max_fails=3 fail_timeout=10s;
server 10.0.0.12:8080 weight=2 max_fails=3 fail_timeout=10s;
server 10.0.0.13:8080 weight=1 max_fails=3 fail_timeout=10s;
server 10.0.0.99:8080 backup;
keepalive 64; # 每个 worker 进程维持的空闲长连接数
keepalive_requests 1000; # 单条长连接最多承载的请求数
keepalive_timeout 60s; # 空闲连接保持时间
}
server {
listen 80;
server_name www.example.com;
location / {
proxy_pass http://app_backend;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_connect_timeout 2s;
proxy_send_timeout 10s;
proxy_read_timeout 15s;
proxy_next_upstream error timeout http_502 http_503 http_504;
proxy_next_upstream_tries 2;
proxy_next_upstream_timeout 6s;
}
}
keepalive 64 的含义容易被误解:它指的是每个 worker 进程向 upstream 维持的空闲连接上限,不是整个池子的总连接数。估算方式是 worker_processes × keepalive,这个值应该略大于"并发请求数 / worker_processes",太小会导致连接频繁重建,太大会占用后端过多连接槽位。keepalive_requests 默认 100,达到后连接会被关闭重建,用于防止单条长连接长期占用导致内存碎片,建议设为 1000 左右。
6.3 配置验证步骤
配置完成后的验证步骤:
- 语法检查:
nginx -t,确认输出syntax is ok与test is successful。 - 平滑重载:
nginx -s reload,不要 restart,避免断连。 - 确认分发:连续请求并打印
$upstream_addr,观察是否按预期策略分布。 - 确认长连接:在后端执行
ss -antp | grep :8080 | grep -c ESTAB,压测期间应该看到稳定数量的 ESTABLISHED 而不是大量 TIME_WAIT。 - 演练摘机:把一台后端标记为
down或停止服务,观察fail_timeout窗口内的 5xx 数量与恢复时间。 - 观察日志:
awk '{print $NF}' /var/log/nginx/access.log | sort | uniq -c统计各后端命中次数,验证权重比例。
# 1. 语法检查与重载
nginx -t && nginx -s reload
# 2. 连续请求观察分发结果
for i in $(seq 1 30); do
curl -s -o /dev/null http://www.example.com/
done
awk '{print $NF}' /var/log/nginx/access.log | sort | uniq -c | sort -rn
# 3. 观察后端连接状态(在后端机器上执行)
ss -antp | grep ':8080' | awk '{print $1}' | sort | uniq -c
# 4. 用 wrk 压测 30 秒,观察 QPS 与延迟分布
wrk -t4 -c200 -d30s --latency http://www.example.com/
小结
Nginx 负载均衡的核心配置就三件事:upstream 里定义后端与策略,proxy_pass 里引用,日志里加 $upstream_addr 和 $upstream_response_time 让一切可观测。策略选择的判断标准可以压缩成一句话——无状态服务用 least_conn,异构机器加 weight,缓存类后端用一致性 hash,ip_hash 只作为遗留系统的过渡方案。
避坑清单:
- 忘记
proxy_http_version 1.1和proxy_set_header Connection "",导致 keepalive 形同虚设,后端 TIME_WAIT 堆积。 proxy_next_upstream里加timeout又不限制重试次数,后端过载时会被重试流量二次击穿。- 用 ip_hash 后又上了 CDN,此时
$remote_addr全都是 CDN 节点 IP,所有请求落到同一台后端。解决方法是配置real_ip_header X-Forwarded-For与set_real_ip_from,让 Nginx 还原真实客户端 IP。 - 权重差异过大(比如 10:1),高权重机器宕机时剩余节点瞬间过载。
- 直接删除 upstream 中的 server 而不是标记
down,导致哈希重排、会话大面积失效。 keepalive值照抄教程不考虑 worker 数量与后端连接上限,要么连接复用不足,要么耗尽后端连接池。
本文配置基于 Nginx 开源版(1.20+ 语法通用),health_check、zone、动态 DNS 解析等指令属 Nginx Plus 或需第三方模块,开源版需改用被动健康检查或 lua/nginx-upsync 方案。
企业QQ咨询




