高并发网站为什么需要负载均衡?工作原理与服务器部署实践

凌晨零点,运营刚发完推送,网站首页的响应时间从 200 毫秒一路爬到 8 秒,然后开始大面积 502。你登上唯一的那一台服务器,看到 load average 已经冲到 40,CPU 的 us 只有 30%,剩下的全是 si 和 wa,Nginx 的错误日志里刷着 connect() failed (111: Connection refused) 和 upstream timed out。加内存、调参数、重启服务,能撑十分钟,然后继续崩。这不是配置没调好,而是单台机器的物理上限到了。负载均衡(Load Balancing)就是为了解决这件事而存在的:把流量分摊到多台服务器上,让"一台机器扛不住"变成"一群机器一起扛"。

一、单台服务器的天花板在哪里

很多人的第一反应是"升级配置",换 32 核 64G、上 NVMe。垂直扩容(Scale Up)确实有效,但它有三个绕不过去的限制。

第一是性能上限非线性。CPU 从 4 核加到 8 核,吞吐通常能提升 70%-90%;但从 16 核加到 32 核,受锁竞争、上下文切换、内存带宽影响,实际提升可能只剩 30%-40%。花的钱翻倍,收益却递减。

第二是可用性单点。无论这台机器多贵,它只有一块主板、一个电源、一套系统。系统内核 panic、机房断电、网卡故障、甚至一次误执行 rm -rf,都会让服务整体不可用。单台服务器的可用性天花板就是这台机器本身的可靠性,做不了更多。

第三是维护窗口。要升级内核、更换证书、发布新版本,都必须停服或者接受灰度风险。没有冗余,就没有"滚动发布"这件事。

用一句判断标准来量化:当单机的 CPU 持续超过 70%、或者 load average 长期高于 CPU 核数的 1.5 倍、或者 P99 响应时间开始随 QPS 非线性上涨,就说明这台机器已经进入饱和区,此时再加配置性价比极低,应该考虑横向扩容(Scale Out)加负载均衡。

二、负载均衡的工作原理

负载均衡的本质非常朴素:在客户端和真实服务器之间插入一个"调度层"。客户端不再直接连接后端服务器,而是连接调度层的虚拟 IP 或服务域名;调度层按照既定策略,把请求转发给后端服务器池(upstream / backend pool)中的某一台,再把响应回传给客户端。

一次完整的七层(HTTP)转发过程大致是这样:

  1. 客户端与负载均衡器完成 TCP 三次握手,发送 HTTP 请求;
  2. 负载均衡器解析 HTTP 头部,按调度算法从后端池中挑选一台服务器;
  3. 负载均衡器与该后端服务器建立(或复用)一条连接,把请求转发出去,通常补上 X-Forwarded-For、X-Real-IP、X-Forwarded-Proto 头部,让后端知道真实客户端 IP 与原始协议;
  4. 后端处理完毕回送响应,负载均衡器接收后再回写给客户端;
  5. 连接关闭或归还到 keepalive 连接池,等待复用。

关键在于:后端服务器对客户端是透明的。客户端只认识负载均衡器,后端可以随意增加、摘除、重启,只要调度层知道就行。这就把"可用性"从单机可靠性问题,转变成了"池子里还剩几台健康的机器"这个问题。

三、四层与七层:先分清再选型

负载均衡按工作层次主要分两类,选型的第一步就是把它们分清楚。

对比项四层负载均衡(L4)七层负载均衡(L7)
工作依据IP + 端口 + TCP/UDP 协议HTTP 头部、URL、Cookie、Host
典型实现LVS(DR/NAT/TUN)、HAProxy tcp mode、Nginx streamNginx http、HAProxy http、云厂商 ALB/CLB 七层
性能极高,只做转发,百万级并发可达较高,需解析 HTTP,通常数万到十几万并发
能力不能按 URL 路由、不能改内容可按域名/路径路由、可做改写、压缩、WAF、灰度
适用场景数据库代理、MQ、游戏长连接、作为七层的前置Web 站点、API 网关、微服务入口

实践中最常见的组合是"四层 + 七层"两级:LVS 抗住海量连接并做第一级分发,后面挂一组 Nginx 做七层路由和业务处理。中小站点通常一台 Nginx 就够,不必一上来就上 LVS。

四、调度算法怎么选

调度算法决定了"下一个请求给谁",是负载均衡最核心的策略配置。以 Nginx 为例,常见算法如下:

  • round-robin(轮询):默认策略,依次把请求分给每台服务器。适合后端机器配置相同、请求处理耗时接近的场景。
  • weight(加权轮询):给性能强的机器更高权重,能承担更多流量。适合新老机器混布。
  • ip_hash:按客户端 IP 的前三段(IPv4)计算哈希,同一 IP 固定落到同一台后端。用于需要会话保持(Session Affinity)但又没有共享 Session 的老系统。
  • least_conn(最少连接):把新请求交给当前活跃连接数最少的机器。适合请求耗时差异大(比如有的请求 10ms、有的 3s)的场景,配合 weight 即 least_conn 的加权版本。
  • hash / consistent hash:按自定义 key(如 $request_uri、$cookie_uid)哈希,一致性哈希能让后端增减时只迁移少部分 key,对缓存类后端很关键。

判断依据很直接:如果后端是无状态服务(最常见),用 least_conn 或加权轮询;如果后端有本地缓存且命中率敏感,用一致性哈希;只有当应用确实依赖本地 Session 且短期无法改造时,才用 ip_hash——因为它会带来负载不均(NAT 出口、移动端基站 IP 会让大量用户聚到同一台)。

# 1. 默认轮询(不写任何指令即为加权轮询,weight 默认 1)
upstream backend_rr {
    server 10.0.0.11:8080;
    server 10.0.0.12:8080;
}

# 2. 加权轮询:按 5:3:2 的比例分发
upstream backend_wrr {
    server 10.0.0.11:8080 weight=5;
    server 10.0.0.12:8080 weight=3;
    server 10.0.0.13:8080 weight=2;
}

# 3. ip_hash:按客户端 IP 前三段哈希,保持会话
upstream backend_iphash {
    ip_hash;
    server 10.0.0.11:8080;
    server 10.0.0.12:8080;
}

# 4. least_conn:交给活跃连接最少的节点(推荐默认)
upstream backend_lc {
    least_conn;
    server 10.0.0.11:8080;
    server 10.0.0.12:8080;
}

# 5. 一致性哈希:按 URI 固定节点,提升后端本地缓存命中率
upstream backend_hash {
    hash $request_uri consistent;
    server 10.0.0.11:8080;
    server 10.0.0.12:8080;
}

五、健康检查:负载均衡的"眼睛"

没有健康检查的负载均衡是盲目的:后端已经挂了,它还在往那边发请求,用户看到的就是间歇性 502。健康检查分两种:

被动健康检查——靠真实请求的失败来判定。Nginx 开源版就是这个模式,通过 max_fails 和 fail_timeout 控制:在 fail_timeout 时间窗口内,与该后端的通信失败次数达到 max_fails,就认为该节点不可用,并在接下来 fail_timeout 时间内不再向它转发。

upstream backend {
    server 10.0.0.11:8080 max_fails=3 fail_timeout=10s;
    server 10.0.0.12:8080 max_fails=3 fail_timeout=10s;
    server 10.0.0.13:8080 backup;
}

server {
    listen 80;
    server_name www.example.com;

    location / {
        proxy_pass http://backend;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        proxy_connect_timeout 2s;
        proxy_send_timeout 10s;
        proxy_read_timeout 10s;

        proxy_next_upstream error timeout http_500 http_502 http_503 http_504;
        proxy_next_upstream_tries 2;
        proxy_next_upstream_timeout 5s;
    }
}

主动健康检查——调度层定期主动发探测请求(如 GET /health),不依赖真实流量。Nginx Plus 的 health_check 指令、HAProxy 的 option httpchk、云厂商负载均衡的健康检查配置都属于此类。它的好处是能在没有流量时也发现问题,并且可以区分"服务不可用"和"服务过载"(比如探测返回特定状态码表示摘除但不重启)。

需要注意 proxy_next_upstream:它定义了什么情况下把请求转给下一台后端。如果把 timeout 加进去,慢请求会被重试,在后端已经过载时等于雪上加霜;更稳妥的做法是只重试 error 和连接类失败,并限制 proxy_next_upstream_tries。

六、落地清单与能力边界

下面是一套从单机走向负载均衡集群的可执行步骤,按这个顺序做,风险最小:

  1. 先做无状态化改造:把 Session 迁到 Redis,把上传文件迁到对象存储或共享存储,把本地内存缓存改为分布式缓存。这一步没做完就上负载均衡,会遇到"用户一会儿登录一会儿掉线"。
  2. 准备至少两台后端:配置、代码、发布时间保持一致,用同一份镜像或同一套配置管理工具下发。
  3. 部署调度层:小流量用单台 Nginx,调度层本身也要冗余时用 Keepalived 做 VIP 漂移,或直接购买云厂商的负载均衡服务(自带高可用)。
  4. 配置 upstream 与健康检查:先全量 down 掉新节点,逐台 up 观察。
  5. 灰度引流:先用 weight=1 给新节点少量流量,观察错误率与响应时间,再逐步调高。
  6. 压测验证:用 wrk 或 ab 打一轮,确认 QPS 随后端数量线性增长,且单台故障时剩余节点能接管。
  7. 演练摘除:手动停掉一台后端,观察 fail_timeout 窗口内的错误率,确认业务无感。

验证调度是否生效,最直接的办法是让后端在响应里带上自己的主机名或内网 IP:

# 在后端 Nginx 上临时加一个响应头,便于确认请求落到了哪台机器
add_header X-Backend-Node $hostname always;

# 客户端循环请求,观察分布
for i in $(seq 1 20); do
  curl -s -o /dev/null -D - http://www.example.com/ | grep -i x-backend-node
done

# 观察 Nginx 与后端的连接状态
ss -lntp | grep -E ':80|:8080'
ss -antp | awk '{print $1}' | sort | uniq -c

6.1 负载均衡解决不了的事

必须清醒地认识到,负载均衡只是把压力"摊开",不是把压力"消除"。下面这些瓶颈它无能为力:

  • 数据库写压力:加十台 Web 服务器,写请求最终还是会打到同一个主库。要靠读写分离、分库分表、消息队列削峰来解决。
  • 调度层自身瓶颈:负载均衡器也有连接数、带宽、PPS 的上限。它自身必须做高可用(主备或集群),否则就成了新的单点。
  • 共享资源争用:如果所有后端都依赖同一个 Redis、同一个 NFS,那个共享组件就是事实上的瓶颈。
  • 慢查询与代码问题:一个 3 秒的 SQL,分摊到 10 台机器还是 3 秒。负载均衡掩盖不了应用层缺陷。

判断是否需要继续加机器的依据,是资源水位与响应时间的曲线关系:如果加机器后 QPS 线性上升、P99 保持不变,说明扩容有效;如果加机器后 QPS 不涨、错误率反而上升,瓶颈在下游共享资源,此时应该停下扩容,去查数据库和缓存。

小结

高并发网站需要负载均衡,根本原因不是"流量大"这个现象,而是三件事:单机的性能收益会递减、单机存在不可消除的可用性单点、单机没有滚动维护的余地。负载均衡通过"调度层 + 后端池 + 健康检查"这个结构,把可用性问题从"机器会不会坏"转化为"池子里还剩几台好的",从而让扩容变成一件可以增量进行的事。

落地时的几条避坑建议:

  • 先无状态,后分流。Session 和本地文件没迁走就上负载均衡,会引入比宕机更难查的诡异问题。
  • 调度层必须冗余。单台 Nginx 做负载均衡,等于把单点从后端搬到了前端,反而更危险。
  • 慎用 ip_hash。它会造成负载不均,并且在移动端和 NAT 场景下分布非常糟糕,优先改造成无状态 + 共享 Session。
  • 重试要有节制。proxy_next_upstream 里加 timeout 会把过载的后端彻底压垮,重试次数控制在 2 次以内并设置超时上限。
  • 超时参数必须显式配置。proxy_read_timeout 默认 60s,在高并发下会让连接长时间占用,建议按业务 P99 的 2-3 倍设置,一般 5-15 秒。
  • 观察后端是否线性。扩容后务必压测确认 QPS 随节点数增长,否则要回头查共享资源瓶颈。

本文面向中小企业运维与站长场景,所有配置以 Nginx 开源版为主,命令在 CentOS 7+/Ubuntu 20.04+ 通用,涉及路径与默认值请按实际环境核对。