Web服务器连接数过高怎么办?连接池、超时参数与系统限制优化

监控告警显示 Nginx 的 active connections 冲到 40000,ss -s 里 TIME_WAIT 有十几万,新用户打开页面一直在转圈,日志里开始出现 cannot assign requested address 和 too many open files。这时候大多数人会立刻去调大 worker_connections,但改完发现没用——因为连接数过高从来不是单一参数问题,它是三个层次共同作用的结果:内核层面的文件描述符和端口限制、内核协议栈的队列与状态参数、以及应用层的连接复用与超时策略。只调其中一层,另外两层会立刻变成新的瓶颈。本文按这三个层次逐层拆解,给出可量化的判断标准和完整的调优配置。

一、先搞清楚:连接数高≠负载高

动手之前必须先判断"高"的是什么。连接数高有几种完全不同的成因,处置方式南辕北辙:

  • 真实并发高:确实有大量用户同时在线。表现为 ESTABLISHED 数高,CPU 与 QPS 同步上升。这是正常业务增长,需要扩容。
  • keepalive 空闲连接堆积:客户端或 CDN 保持长连接不断开。表现为大量 ESTABLISHED 但 QPS 不高、CPU 空闲。这是正常现象,只需确认未触及上限。
  • 短连接风暴:每次请求都新建连接、用完立刻关闭。表现为 TIME_WAIT 数量极高,可能伴随端口耗尽。这是配置问题,必须修。
  • 慢连接攻击 / 慢客户端:连接建立了但不发数据或不读数据。表现为 ESTABLISHED 高但 QPS 极低,常伴随 Reading 状态连接数异常。需要限流和安全策略。

快速诊断的一组命令:

# 1. 连接状态总览
ss -s

# 2. 各状态连接数统计
ss -ant | awk 'NR>1 {print $1}' | sort | uniq -c | sort -rn

# 3. 按目标端口统计(看是 80 还是后端 8080 的连接多)
ss -ant | awk 'NR>1 {print $4}' | awk -F: '{print $NF}' | sort | uniq -c | sort -rn | head

# 4. Nginx 实时连接状态(需开启 stub_status)
curl -s http://127.0.0.1/nginx_status

# 5. 文件描述符使用情况
cat /proc/sys/fs/file-nr
ulimit -n
lsof -p $(cat /var/run/nginx.pid) | wc -l

ss -s 的输出里,Total 是总 socket 数。判断标准:如果 TIME_WAIT 数量超过 ESTABLISHED 的 5 倍,且总量在持续增长,基本可以断定是短连接问题;如果 ESTABLISHED 高而 Nginx Waiting 数也高,那是 keepalive 空闲连接,属于正常,只需核对上限。

/proc/sys/fs/file-nr 的三个数字依次是:已分配的文件句柄数、空闲句柄数、系统上限(fs.file-max)。如果第一个数字持续接近第三个,说明系统级句柄即将耗尽,必须立即处理。

二、第一层:文件描述符限制

Linux 下"一切皆文件",每个 TCP 连接消耗一个文件描述符(fd)。连接数上不去的第一道天花板就是 fd 限制,它有两个层级:用户/进程级(ulimit)和系统级(file-max)。

2.1 进程级限制:ulimit

默认通常只有 1024,这意味着单个进程最多同时打开 1024 个文件——对 Web 服务器来说远远不够。查看与临时修改:

# 查看当前 shell 与进程的限制
ulimit -n          # 软限制
ulimit -Hn         # 硬限制

# 查看某个运行进程的真实限制(软/硬)
PID=$(cat /var/run/nginx.pid)
cat /proc/$PID/limits | grep -i 'open files'

# 当前 shell 临时生效(仅对当前会话及其子进程)
ulimit -n 65535

永久生效需要修改 /etc/security/limits.conf,注意它只对通过 PAM 登录会话启动的进程生效:

# /etc/security/limits.conf
*       soft    nofile    65535
*       hard    nofile    65535
root    soft    nofile    65535
root    hard    nofile    65535

# 注意:在 CentOS 7+/RHEL 7+ 上,/etc/security/limits.d/ 下的文件会覆盖主文件
# 检查是否有覆盖配置
ls -l /etc/security/limits.d/

对于由 systemd 管理的服务(Nginx、PHP-FPM、Tomcat 在大多数现代发行版上都是),limits.conf 是不生效的,必须在 service 单元里设置,这一点极其常见也极容易被忽略:

# 方式一:在 service 文件中设置
# /etc/systemd/system/nginx.service.d/override.conf 或直接在 nginx.service 的 [Service] 段
[Service]
LimitNOFILE=65535
LimitNPROC=65535

# 使配置生效
systemctl daemon-reload
systemctl restart nginx

# 验证是否生效
systemctl show nginx | grep -i limitnofile
cat /proc/$(cat /var/run/nginx.pid)/limits | grep -i 'open files'

2.2 系统级限制:file-max

# 查看与临时修改
cat /proc/sys/fs/file-max
sysctl -w fs.file-max=200000

# 永久生效
# /etc/sysctl.conf
fs.file-max = 200000
fs.nr_open  = 200000

# 应用
sysctl -p

容量的粗略估算方法:系统级 file-max 应至少等于所有服务的最大连接数之和再加上余量。举例:Nginx 预期 4 万连接、后端 PHP-FPM 若干进程各占一些、数据库 500 连接、加上系统和日志的开销,file-max 设 200000 是比较稳妥的。通常单进程 nofile 设为 65535,file-max 设为 200000 左右能覆盖绝大多数中小规模场景。

三、第二层:内核协议栈参数

解决 fd 限制之后,接下来会遇到内核层面的队列与时延参数。以下是与高并发最相关的几项:

参数作用默认值(常见)建议值
net.core.somaxconnaccept 队列最大长度(已完成握手等待应用 accept)128 或 4096(新内核)32768
net.core.netdev_max_backlog网卡接收队列,包速率高时防丢包100010000-30000
net.ipv4.tcp_max_syn_backlogSYN 半连接队列长度1024 或 204816384-65535
net.ipv4.ip_local_port_range本地可用临时端口范围32768-60999(约 28232 个)1024-65535
net.ipv4.tcp_tw_reuse允许复用 TIME_WAIT socket 用于新连接0(部分新内核为 2)1
net.ipv4.tcp_fin_timeoutFIN_WAIT_2 状态超时6015-30
net.ipv4.tcp_max_tw_bucketsTIME_WAIT socket 最大数量通常较大或随内存视情况,不宜过小
net.ipv4.tcp_syncookiesSYN 队列溢出时用 cookie 防御 SYN Flood11(保持开启)
net.ipv4.tcp_keepalive_timekeepalive 探测起始时间7200(秒)600(对长连接服务)
net.core.rmem_max/wmem_maxsocket 收发缓冲区上限212992视带宽时延积调整

一份可直接使用的 /etc/sysctl.conf 配置片段:

# /etc/sysctl.conf —— 高并发 Web 场景内核参数
fs.file-max = 200000

# 连接队列
net.core.somaxconn = 32768
net.core.netdev_max_backlog = 30000
net.ipv4.tcp_max_syn_backlog = 32768
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_abort_on_overflow = 0

# 端口与 TIME_WAIT
net.ipv4.ip_local_port_range = 1024 65535
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_max_tw_buckets = 262144

# 长连接保活
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 3

# 缓冲区(配合 BDP 调整,此处为通用值)
net.core.rmem_default = 262144
net.core.wmem_default = 262144
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 65536 16777216
net.ipv4.tcp_moderate_rcvbuf = 1

# 应用
sysctl -p

几个必须解释清楚的点:

3.1 somaxconn 与 Nginx backlog 的关系

TCP 三次握手完成后,连接进入 accept 队列等待应用调用 accept()。这个队列的长度取 min(应用 listen 的 backlog, net.core.somaxconn)。Nginx 默认 listen 的 backlog 是 511,所以只改 somaxconn 不改 Nginx 的 backlog 是没用的:

# nginx.conf 中显式指定 backlog
server {
    listen 80 backlog=8192;
    ...
}

# 检查队列是否溢出(ListenOverflows / ListenDrops 持续增长说明队列不足)
netstat -s | grep -iE 'listen|overflow'
ss -lnt | head -20

ss -lnt 输出的 Send-Q 列就是当前 listen socket 的 backlog 上限,Recv-Q 是当前队列中的连接数。如果 Recv-Q 经常接近 Send-Q,说明队列偏小。而 netstat -s 里 times the listen queue of a socket overflowed 的计数持续增长,就是队列溢出的直接证据。

3.2 ip_local_port_range 与端口耗尽

作为客户端发起连接时(比如 Nginx 连后端、PHP 连 MySQL、应用连 Redis),每个连接占用一个本地临时端口。默认范围约 28232 个端口,看起来不少,但由于 TIME_WAIT 状态的端口在 60 秒内不能复用,如果短连接速率超过 28232 / 60 ≈ 470 个/秒,就会端口耗尽,报 cannot assign requested address。

把范围扩大到 1024 65535 可得约 64511 个端口,配合 tcp_tw_reuse=1,能承受的短连接速率提升到每秒 1000+。但注意:这只是缓解,根本解法是启用长连接复用。

3.3 TIME_WAIT 的成因与后果

TIME_WAIT 出现在主动关闭连接的一方。它存在的两个原因:一是保证最后一个 ACK 能到达对端(防止对端重发 FIN 时无响应),二是让本次连接的残余报文在网络中消散,避免被后续复用同一四元组的新连接误收。默认持续 60 秒(2 × MSL)。

后果有两方面:占用内存(每个约 0.3-4KB 的内核结构)和占用端口(导致端口耗尽)。十几万个 TIME_WAIT 通常不会直接压垮内存,但会显著增加端口分配压力和 CPU 在哈希查找上的开销。

必须纠正的两个常见误解:

  • 不要使用 net.ipv4.tcp_tw_recycle。它在 Linux 4.12 之后已被移除,且在有 NAT 的网络中会因为时间戳校验导致大量连接被丢弃,历史上造成过无数诡异故障。如果你的教程里还在推荐它,那已经过时了。
  • tcp_tw_reuse 只对主动发起连接(客户端侧)有效,它不会消除服务端被动关闭产生的 TIME_WAIT。

真正减少 TIME_WAIT 的办法是三条:启用长连接(让连接不关闭)、让客户端侧主动关闭(对 Nginx 可以用 keepalive 连接池减少关闭次数)、以及降低 tcp_fin_timeout(注意它影响的是 FIN_WAIT_2,不是 TIME_WAIT 时长,TIME_WAIT 的 60 秒在内核中是硬编码的)。

四、第三层:应用层的连接复用与超时

前两层只是在抬高天花板,真正解决连接数问题的是这一层——让连接复用,让连接及时释放。

4.1 Nginx 侧的四个方向

客户端侧与后端侧要分别配置:

# —— 客户端侧(面向用户/浏览器)——
http {
    keepalive_timeout 15s 15s;      # 空闲连接保持 15 秒,并在响应头中告知客户端
    keepalive_requests 1000;        # 单连接最多处理 1000 个请求后关闭
    send_timeout 10s;               # 两次写操作之间的超时
    client_header_timeout 10s;      # 读取请求头超时
    client_body_timeout 10s;        # 读取请求体超时
    reset_timedout_connection on;   # 超时后发 RST 而非 FIN,快速释放

    # —— 后端侧(面向 upstream)——
    upstream app_backend {
        least_conn;
        server 10.0.0.11:8080 max_fails=3 fail_timeout=10s;
        server 10.0.0.12:8080 max_fails=3 fail_timeout=10s;
        keepalive 128;              # 每个 worker 维持的空闲长连接数
    }

    server {
        location / {
            proxy_pass http://app_backend;
            proxy_http_version 1.1;       # 必须:默认 1.0 不支持长连接
            proxy_set_header Connection "";  # 必须:清除客户端传来的 Connection 头

            proxy_connect_timeout 2s;     # 与后端建连超时,建议 1-3s
            proxy_send_timeout 10s;
            proxy_read_timeout 15s;       # 等待后端响应超时,按业务 P99 的 2-3 倍设置
        }
    }
}

keepalive_timeout 的判断标准:设得太长(如默认 75s)会让大量空闲连接占据内存和 fd;设得太短(如 5s)会让客户端频繁重连。经验值是 10-30 秒,配合 CDN 时可以略长,纯 API 服务可以略短。keepalive_requests 默认 100,在 HTTP/2 或大量小请求的场景下应该调大,避免连接频繁重建产生 TIME_WAIT。

4.2 worker 容量核算

Nginx 的最大连接数由 worker_processes × worker_connections 决定,但要注意每个客户端连接实际消耗的 fd 不止 1 个:反向代理场景下,一个客户端连接 + 一个到后端的连接 = 2 个 fd;如果还读静态文件,再加 1 个。

worker_processes auto;        # 通常等于 CPU 核数
worker_rlimit_nofile 65535;   # 必须 >= worker_connections,且要大于系统 ulimit 上限
events {
    use epoll;
    worker_connections 16384;  # 反代场景下实际客户端并发约为 16384/2
    multi_accept on;
}

核算示例:4 核机器,worker_connections=16384,反向代理模式下单 worker 可承载约 8192 个客户端连接,总计约 32768 个客户端连接。此时 worker_rlimit_nofile 必须 ≥ 16384,且 systemd 的 LimitNOFILE 必须 ≥ 16384,系统的 ulimit -n 也必须 ≥ 16384,四者必须匹配——任何一个偏小,Nginx 启动时会在错误日志里报 worker_connections are more than open file resource limit。

五、排查与调优实施清单

  1. 采集现状:ss -s、ss -ant | awk '{print $1}' | sort | uniq -c、netstat -s | grep -i overflow、cat /proc/sys/fs/file-nr,确认瓶颈类型。
  2. 核对 fd 三层限制:系统 fs.file-max、服务 LimitNOFILE(systemd 管理的服务必须在这里改)、进程 /proc/PID/limits,三者取最小值才是实际生效值。
  3. 调队列参数:somaxconn 与 Nginx listen ... backlog= 同时调整,用 ss -lnt 验证 Send-Q。
  4. 扩端口范围并开启 tw_reuse:仅作为缓解手段。
  5. 启用长连接:客户端侧 keepalive_timeout,后端侧 proxy_http_version 1.1 + Connection "" + keepalive N。这一步是根本解法。
  6. 收紧超时:proxy_connect/read/send_timeout、client_*_timeout,让异常连接快速释放。
  7. 加限流保护:limit_conn 限制单 IP 并发,防止慢连接攻击占满连接槽。
  8. 压测验证:逐步加压,观察 QPS 与 TIME_WAIT 的变化,确认 ss -s 中 TIME_WAIT 不再持续增长。
  9. 固化配置:把 sysctl 写入 /etc/sysctl.conf,把 LimitNOFILE 写入 systemd 单元,避免重启后失效。
# 上线前压测验证(务必在预发环境,逐步加压)
wrk -t4 -c500 -d60s --latency http://www.example.com/

# 压测期间在服务器上观察
watch -n1 'ss -s; echo ---; ss -ant | awk "NR>1 {print \$1}" | sort | uniq -c | sort -rn'
watch -n1 'cat /proc/sys/fs/file-nr'

# 压测后确认无句柄泄漏
lsof -n | awk '{print $2}' | sort | uniq -c | sort -rn | head -10

小结

Web 服务器连接数过高是一个典型的"多层天花板"问题,必须按文件描述符 → 内核队列与端口 → 应用连接复用与超时的顺序逐层排查。只调 worker_connections 而不改 systemd 的 LimitNOFILE,改了也不会生效;只扩端口而不启用长连接,只是把崩溃时间推迟;只启用长连接而不设超时,异常连接会一直占着槽位。

避坑清单:

  • 忘记 systemd 的 LimitNOFILE。这是现代发行版上最常见的失效原因——/etc/security/limits.conf 对 systemd 服务不生效,必须用 systemctl show 验证。
  • 开启 tcp_tw_recycle。该参数在 Linux 4.12+ 已移除,且在 NAT 环境下会丢弃大量正常连接,绝对不要使用。
  • 只改 somaxconn 不改 Nginx backlog。实际生效值是两者的较小值,改一个没用。
  • 启用 upstream keepalive 却忘了 HTTP/1.1 和清空 Connection 头。这两个是启用后端长连接的必要条件,缺一不可。
  • 把 keepalive_timeout 设得过长(如 300s)。空闲连接会长期占用 fd 和内存,在攻击场景下尤其危险。
  • 把 proxy_read_timeout 设得过长(默认 60s)。慢请求会长期占用后端连接,高并发下迅速耗尽连接池,应按业务 P99 的 2-3 倍设置,通常 5-15 秒。
  • tcp_max_tw_buckets 设得过小。超过阈值后内核会直接销毁 TIME_WAIT socket 并打印告警,虽然能缓解数量问题,但会破坏 TCP 语义,一般不建议动它。

本文参数默认值随内核版本与发行版不同而有差异(如 CentOS 7 的 somaxconn 为 128,较新内核为 4096),请以 sysctl -a 实际输出为准。所有内核参数修改请在预发环境验证后再上线,并注意 sysctl -p 会应用配置文件中的全部参数。