Nginx负载均衡配置教程:轮询、权重与IP哈希策略详解

你已经有了三台配置一样的后端服务器,Nginx 也装好了,接下来打开 nginx.conf 却卡住了:upstream 该写在哪里?weight 数字到底代表什么比例?为什么加了 ip_hash 之后三台机器的负载变得极不均匀,其中一台 CPU 跑到 90% 另外两台只有 20%?这些问题几乎每个第一次配 Nginx 负载均衡的人都会遇到。本文把 upstream 的几种调度策略逐个拆开讲,给出可直接复制的完整配置,并说明每种策略在什么条件下该用、什么条件下不能用。

一、upstream 块:配置放哪里、怎么组织

Nginx 的负载均衡配置由两部分组成:一个 upstream 块定义后端服务器池,一个 proxy_pass 把请求引到这个池。upstream 只能写在 http 上下文中,不能放进 server 或 location。

推荐的组织方式是主配置文件用 include 拆目录,避免所有站点挤在一个文件里:

# /etc/nginx/nginx.conf 的 http 段
http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                    '$status $body_bytes_sent "$http_referer" '
                    '"$http_user_agent" '
                    'upstream=$upstream_addr '
                    'rt=$request_time urt=$upstream_response_time '
                    'status=$upstream_status';

    access_log /var/log/nginx/access.log main;

    include /etc/nginx/conf.d/*.conf;
    include /etc/nginx/upstreams/*.conf;
}

然后在 /etc/nginx/upstreams/app.conf 里定义池子:

upstream app_backend {
    server 10.0.0.11:8080;
    server 10.0.0.12:8080;
    server 10.0.0.13:8080;
}

server {
    listen 80;
    server_name www.example.com;

    location / {
        proxy_pass http://app_backend;
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

这里有两个经常被忽略但很重要的细节。第一,proxy_http_version 1.1 配合 proxy_set_header Connection "":Nginx 默认用 HTTP/1.0 与后端通信且不复用连接,每一次请求都要新建 TCP 连接,在高 QPS 下会迅速耗尽后端端口并产生大量 TIME_WAIT。改成 1.1 并清空 Connection 头,才能启用下面要讲的 keepalive 连接池。

第二,日志格式里的三个变量:$upstream_addr 记录请求实际落到了哪台机器,$upstream_response_time 记录后端处理耗时,$upstream_status 记录后端返回码。没有这三个变量,负载均衡出问题后你根本无法判断是哪一台后端在拖后腿。这是排查负载均衡故障最重要的一组数据。

二、轮询(round-robin):默认策略与其适用边界

不写任何调度指令时,Nginx 使用的就是加权轮询,默认每台 weight=1。请求按严格顺序依次分发:第 1 个给 11,第 2 个给 12,第 3 个给 13,第 4 个回到 11。

轮询成立的前提是后端处理能力一致、且每个请求的处理成本接近。一旦这两个条件被打破,问题就来了:假设某台机器上有个请求要跑 3 秒的报表导出,轮询仍会均等地把后续请求分给它,结果就是这台机器的连接堆积、响应时间飙升,而其他两台闲着。

所以轮询适合的场景是:后端机器配置完全相同、接口以短平快的 CRUD 为主、P50 与 P99 差距不大(比如都在 50ms 以内)。如果这个描述不符合你的业务,就应该用 least_conn。

三、权重(weight):混布环境的比例控制

生产环境里后端配置往往不一致:老机器是 8 核 16G,新采购的是 16 核 32G;或者有几台机器还要跑别的业务,不能吃满。这时用 weight 指定比例。

upstream app_backend {
    server 10.0.0.11:8080 weight=5;   # 16C32G,承担约 50%
    server 10.0.0.12:8080 weight=3;   # 16C32G,但同机还跑其他服务
    server 10.0.0.13:8080 weight=2;   # 8C16G 老机器,承担约 20%
}

权重是相对值不是绝对值:上面的配置意味着每 10 个请求中,11 拿 5 个、12 拿 3 个、13 拿 2 个。注意两点:权重比例应该参照实际压测出的单机 QPS 能力来定,而不是拍脑袋按 CPU 核数算;权重差异不要超过 3 倍,否则一旦高权重机器故障,剩下的机器会瞬间被压垮。

权重还经常用于灰度发布:把新版本机器的 weight 设为 1,其余旧版本设为 10,新版本只吃约 9% 的流量,观察日志里 $upstream_status 的错误率和 $upstream_response_time 的 P99,确认正常后再逐步调高,直到全部切换。这种方式比"一次性切流"安全得多。

四、ip_hash:会话保持的正确用法与陷阱

ip_hash 按客户端 IP 计算哈希,保证同一个客户端 IP 的请求始终落到同一台后端。它的存在主要是为了解决"应用在后端本地保存 Session"的老架构问题。

upstream app_backend {
    ip_hash;
    server 10.0.0.11:8080;
    server 10.0.0.12:8080;
    server 10.0.0.13:8080 down;   # 摘除维修,哈希环中保留位置
}

使用 ip_hash 时必须知道的几个限制:

  • 哈希粒度是 IPv4 前三段(即 /24),IPv6 使用整个地址。同一出口 NAT 后的所有用户会被视为同一个客户端。
  • 负载容易严重不均。移动端用户经由基站 NAT 出口、企业用户经由统一网关出口,会导致某些 IP 段汇聚几十万用户,其中一台后端被打满而其他后端空闲。这是 ip_hash 最常见的故障表现。
  • 摘除节点要用 down 而不是删除。直接删掉一台 server 会让哈希环重排,大部分用户的会话失效;用 down 标记,Nginx 会保留其在哈希表中的位置,只影响原本落在它上面的那部分用户。
  • ip_hash 与 weight 可以共存,但权重会作用于哈希桶的分配,效果不如轮询下直观。
  • 在 ip_hash 模式下,backup 参数不可用。

更现代的做法是彻底无状态化:把 Session 存进 Redis,让任何一台后端都能处理任何请求,调度策略就可以自由地用 least_conn。只有短期无法改造的遗留系统才用 ip_hash 过渡。如果需要按用户维度(而不是 IP 维度)做一致路由,应该用下面要讲的 hash 指令配合 Cookie。

五、least_conn 与 hash:两种更精细的策略

least_conn 把新请求交给当前活跃连接数最少的后端,能自然应对请求耗时差异大的场景,是生产环境的推荐默认值。与 weight 配合后,比较的是"活跃连接数 / 权重"的比值。

upstream app_backend {
    least_conn;
    server 10.0.0.11:8080 weight=2;
    server 10.0.0.12:8080 weight=2;
    server 10.0.0.13:8080 weight=1;
}

hash 允许自定义哈希 key。按 URI 哈希可以让同一份资源始终落到同一台后端,提升后端本地缓存命中率;按 Cookie 哈希可以实现用户维度的会话保持,比 ip_hash 精确得多。

upstream app_backend {
    hash $request_uri consistent;      # 一致性哈希,节点增减只迁移部分 key
    # hash $cookie_uid consistent;     # 按用户 ID 做会话保持
    server 10.0.0.11:8080;
    server 10.0.0.12:8080;
    server 10.0.0.13:8080;
}

consistent 关键字启用 ketama 一致性哈希。没有它时,后端数量变化会导致几乎所有 key 重新映射,缓存命中率断崖式下跌;加上它之后,增减一台节点只影响约 1/N 的 key。对缓存类后端(如图片处理服务、本地缓存的 API)来说这个参数是必需的。

六、策略速查、完整配置示例与验证步骤

6.1 策略速查表

策略指令分发依据适用场景主要风险
轮询(默认)顺序轮转同构后端、耗时均匀慢请求堆积造成不均
加权轮询weight=n权重比例异构机器、灰度发布权重差异过大会放大故障
最少连接least_conn活跃连接数/权重耗时差异大的 API几乎无,推荐默认
IP 哈希ip_hash客户端 IP 前三段遗留本地 Session 系统NAT 导致严重不均;不支持 backup
一致性哈希hash $key consistentURI/Cookie/自定义变量缓存类后端、用户级路由key 选择不当仍会倾斜

其他几个必配的 server 参数:

  • max_fails=n:在 fail_timeout 窗口内失败 n 次则判定节点不可用,默认 1。
  • fail_timeout=Ns:既是失败统计窗口,也是判定不可用后的隔离时长,默认 10s。
  • backup:标记为备份节点,只有所有主节点不可用时才启用。
  • down:手动标记为永久不可用,常用于摘机维护。

6.2 完整生产配置示例

下面是一份整合了连接池、健康检查、超时控制与重试策略的完整 upstream 配置:

upstream app_backend {
    least_conn;

    server 10.0.0.11:8080 weight=2 max_fails=3 fail_timeout=10s;
    server 10.0.0.12:8080 weight=2 max_fails=3 fail_timeout=10s;
    server 10.0.0.13:8080 weight=1 max_fails=3 fail_timeout=10s;
    server 10.0.0.99:8080 backup;

    keepalive 64;              # 每个 worker 进程维持的空闲长连接数
    keepalive_requests 1000;   # 单条长连接最多承载的请求数
    keepalive_timeout 60s;     # 空闲连接保持时间
}

server {
    listen 80;
    server_name www.example.com;

    location / {
        proxy_pass http://app_backend;
        proxy_http_version 1.1;
        proxy_set_header Connection "";

        proxy_connect_timeout 2s;
        proxy_send_timeout    10s;
        proxy_read_timeout    15s;

        proxy_next_upstream error timeout http_502 http_503 http_504;
        proxy_next_upstream_tries 2;
        proxy_next_upstream_timeout 6s;
    }
}

keepalive 64 的含义容易被误解:它指的是每个 worker 进程向 upstream 维持的空闲连接上限,不是整个池子的总连接数。估算方式是 worker_processes × keepalive,这个值应该略大于"并发请求数 / worker_processes",太小会导致连接频繁重建,太大会占用后端过多连接槽位。keepalive_requests 默认 100,达到后连接会被关闭重建,用于防止单条长连接长期占用导致内存碎片,建议设为 1000 左右。

6.3 配置验证步骤

配置完成后的验证步骤:

  1. 语法检查:nginx -t,确认输出 syntax is ok 与 test is successful。
  2. 平滑重载:nginx -s reload,不要 restart,避免断连。
  3. 确认分发:连续请求并打印 $upstream_addr,观察是否按预期策略分布。
  4. 确认长连接:在后端执行 ss -antp | grep :8080 | grep -c ESTAB,压测期间应该看到稳定数量的 ESTABLISHED 而不是大量 TIME_WAIT。
  5. 演练摘机:把一台后端标记为 down 或停止服务,观察 fail_timeout 窗口内的 5xx 数量与恢复时间。
  6. 观察日志:awk '{print $NF}' /var/log/nginx/access.log | sort | uniq -c 统计各后端命中次数,验证权重比例。
# 1. 语法检查与重载
nginx -t && nginx -s reload

# 2. 连续请求观察分发结果
for i in $(seq 1 30); do
  curl -s -o /dev/null http://www.example.com/
done
awk '{print $NF}' /var/log/nginx/access.log | sort | uniq -c | sort -rn

# 3. 观察后端连接状态(在后端机器上执行)
ss -antp | grep ':8080' | awk '{print $1}' | sort | uniq -c

# 4. 用 wrk 压测 30 秒,观察 QPS 与延迟分布
wrk -t4 -c200 -d30s --latency http://www.example.com/

小结

Nginx 负载均衡的核心配置就三件事:upstream 里定义后端与策略,proxy_pass 里引用,日志里加 $upstream_addr 和 $upstream_response_time 让一切可观测。策略选择的判断标准可以压缩成一句话——无状态服务用 least_conn,异构机器加 weight,缓存类后端用一致性 hash,ip_hash 只作为遗留系统的过渡方案。

避坑清单:

  • 忘记 proxy_http_version 1.1 和 proxy_set_header Connection "",导致 keepalive 形同虚设,后端 TIME_WAIT 堆积。
  • proxy_next_upstream 里加 timeout 又不限制重试次数,后端过载时会被重试流量二次击穿。
  • 用 ip_hash 后又上了 CDN,此时 $remote_addr 全都是 CDN 节点 IP,所有请求落到同一台后端。解决方法是配置 real_ip_header X-Forwarded-For 与 set_real_ip_from,让 Nginx 还原真实客户端 IP。
  • 权重差异过大(比如 10:1),高权重机器宕机时剩余节点瞬间过载。
  • 直接删除 upstream 中的 server 而不是标记 down,导致哈希重排、会话大面积失效。
  • keepalive 值照抄教程不考虑 worker 数量与后端连接上限,要么连接复用不足,要么耗尽后端连接池。

本文配置基于 Nginx 开源版(1.20+ 语法通用),health_check、zone、动态 DNS 解析等指令属 Nginx Plus 或需第三方模块,开源版需改用被动健康检查或 lua/nginx-upsync 方案。