监控告警显示 Nginx 的 active connections 冲到 40000,ss -s 里 TIME_WAIT 有十几万,新用户打开页面一直在转圈,日志里开始出现 cannot assign requested address 和 too many open files。这时候大多数人会立刻去调大 worker_connections,但改完发现没用——因为连接数过高从来不是单一参数问题,它是三个层次共同作用的结果:内核层面的文件描述符和端口限制、内核协议栈的队列与状态参数、以及应用层的连接复用与超时策略。只调其中一层,另外两层会立刻变成新的瓶颈。本文按这三个层次逐层拆解,给出可量化的判断标准和完整的调优配置。
一、先搞清楚:连接数高≠负载高
动手之前必须先判断"高"的是什么。连接数高有几种完全不同的成因,处置方式南辕北辙:
- 真实并发高:确实有大量用户同时在线。表现为 ESTABLISHED 数高,CPU 与 QPS 同步上升。这是正常业务增长,需要扩容。
- keepalive 空闲连接堆积:客户端或 CDN 保持长连接不断开。表现为大量 ESTABLISHED 但 QPS 不高、CPU 空闲。这是正常现象,只需确认未触及上限。
- 短连接风暴:每次请求都新建连接、用完立刻关闭。表现为 TIME_WAIT 数量极高,可能伴随端口耗尽。这是配置问题,必须修。
- 慢连接攻击 / 慢客户端:连接建立了但不发数据或不读数据。表现为 ESTABLISHED 高但 QPS 极低,常伴随
Reading状态连接数异常。需要限流和安全策略。
快速诊断的一组命令:
# 1. 连接状态总览
ss -s
# 2. 各状态连接数统计
ss -ant | awk 'NR>1 {print $1}' | sort | uniq -c | sort -rn
# 3. 按目标端口统计(看是 80 还是后端 8080 的连接多)
ss -ant | awk 'NR>1 {print $4}' | awk -F: '{print $NF}' | sort | uniq -c | sort -rn | head
# 4. Nginx 实时连接状态(需开启 stub_status)
curl -s http://127.0.0.1/nginx_status
# 5. 文件描述符使用情况
cat /proc/sys/fs/file-nr
ulimit -n
lsof -p $(cat /var/run/nginx.pid) | wc -l
ss -s 的输出里,Total 是总 socket 数。判断标准:如果 TIME_WAIT 数量超过 ESTABLISHED 的 5 倍,且总量在持续增长,基本可以断定是短连接问题;如果 ESTABLISHED 高而 Nginx Waiting 数也高,那是 keepalive 空闲连接,属于正常,只需核对上限。
/proc/sys/fs/file-nr 的三个数字依次是:已分配的文件句柄数、空闲句柄数、系统上限(fs.file-max)。如果第一个数字持续接近第三个,说明系统级句柄即将耗尽,必须立即处理。
二、第一层:文件描述符限制
Linux 下"一切皆文件",每个 TCP 连接消耗一个文件描述符(fd)。连接数上不去的第一道天花板就是 fd 限制,它有两个层级:用户/进程级(ulimit)和系统级(file-max)。
2.1 进程级限制:ulimit
默认通常只有 1024,这意味着单个进程最多同时打开 1024 个文件——对 Web 服务器来说远远不够。查看与临时修改:
# 查看当前 shell 与进程的限制 ulimit -n # 软限制 ulimit -Hn # 硬限制 # 查看某个运行进程的真实限制(软/硬) PID=$(cat /var/run/nginx.pid) cat /proc/$PID/limits | grep -i 'open files' # 当前 shell 临时生效(仅对当前会话及其子进程) ulimit -n 65535
永久生效需要修改 /etc/security/limits.conf,注意它只对通过 PAM 登录会话启动的进程生效:
# /etc/security/limits.conf * soft nofile 65535 * hard nofile 65535 root soft nofile 65535 root hard nofile 65535 # 注意:在 CentOS 7+/RHEL 7+ 上,/etc/security/limits.d/ 下的文件会覆盖主文件 # 检查是否有覆盖配置 ls -l /etc/security/limits.d/
对于由 systemd 管理的服务(Nginx、PHP-FPM、Tomcat 在大多数现代发行版上都是),limits.conf 是不生效的,必须在 service 单元里设置,这一点极其常见也极容易被忽略:
# 方式一:在 service 文件中设置 # /etc/systemd/system/nginx.service.d/override.conf 或直接在 nginx.service 的 [Service] 段 [Service] LimitNOFILE=65535 LimitNPROC=65535 # 使配置生效 systemctl daemon-reload systemctl restart nginx # 验证是否生效 systemctl show nginx | grep -i limitnofile cat /proc/$(cat /var/run/nginx.pid)/limits | grep -i 'open files'
2.2 系统级限制:file-max
# 查看与临时修改 cat /proc/sys/fs/file-max sysctl -w fs.file-max=200000 # 永久生效 # /etc/sysctl.conf fs.file-max = 200000 fs.nr_open = 200000 # 应用 sysctl -p
容量的粗略估算方法:系统级 file-max 应至少等于所有服务的最大连接数之和再加上余量。举例:Nginx 预期 4 万连接、后端 PHP-FPM 若干进程各占一些、数据库 500 连接、加上系统和日志的开销,file-max 设 200000 是比较稳妥的。通常单进程 nofile 设为 65535,file-max 设为 200000 左右能覆盖绝大多数中小规模场景。
三、第二层:内核协议栈参数
解决 fd 限制之后,接下来会遇到内核层面的队列与时延参数。以下是与高并发最相关的几项:
| 参数 | 作用 | 默认值(常见) | 建议值 |
|---|---|---|---|
net.core.somaxconn | accept 队列最大长度(已完成握手等待应用 accept) | 128 或 4096(新内核) | 32768 |
net.core.netdev_max_backlog | 网卡接收队列,包速率高时防丢包 | 1000 | 10000-30000 |
net.ipv4.tcp_max_syn_backlog | SYN 半连接队列长度 | 1024 或 2048 | 16384-65535 |
net.ipv4.ip_local_port_range | 本地可用临时端口范围 | 32768-60999(约 28232 个) | 1024-65535 |
net.ipv4.tcp_tw_reuse | 允许复用 TIME_WAIT socket 用于新连接 | 0(部分新内核为 2) | 1 |
net.ipv4.tcp_fin_timeout | FIN_WAIT_2 状态超时 | 60 | 15-30 |
net.ipv4.tcp_max_tw_buckets | TIME_WAIT socket 最大数量 | 通常较大或随内存 | 视情况,不宜过小 |
net.ipv4.tcp_syncookies | SYN 队列溢出时用 cookie 防御 SYN Flood | 1 | 1(保持开启) |
net.ipv4.tcp_keepalive_time | keepalive 探测起始时间 | 7200(秒) | 600(对长连接服务) |
net.core.rmem_max/wmem_max | socket 收发缓冲区上限 | 212992 | 视带宽时延积调整 |
一份可直接使用的 /etc/sysctl.conf 配置片段:
# /etc/sysctl.conf —— 高并发 Web 场景内核参数 fs.file-max = 200000 # 连接队列 net.core.somaxconn = 32768 net.core.netdev_max_backlog = 30000 net.ipv4.tcp_max_syn_backlog = 32768 net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_abort_on_overflow = 0 # 端口与 TIME_WAIT net.ipv4.ip_local_port_range = 1024 65535 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_fin_timeout = 30 net.ipv4.tcp_max_tw_buckets = 262144 # 长连接保活 net.ipv4.tcp_keepalive_time = 600 net.ipv4.tcp_keepalive_intvl = 30 net.ipv4.tcp_keepalive_probes = 3 # 缓冲区(配合 BDP 调整,此处为通用值) net.core.rmem_default = 262144 net.core.wmem_default = 262144 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216 net.ipv4.tcp_moderate_rcvbuf = 1 # 应用 sysctl -p
几个必须解释清楚的点:
3.1 somaxconn 与 Nginx backlog 的关系
TCP 三次握手完成后,连接进入 accept 队列等待应用调用 accept()。这个队列的长度取 min(应用 listen 的 backlog, net.core.somaxconn)。Nginx 默认 listen 的 backlog 是 511,所以只改 somaxconn 不改 Nginx 的 backlog 是没用的:
# nginx.conf 中显式指定 backlog
server {
listen 80 backlog=8192;
...
}
# 检查队列是否溢出(ListenOverflows / ListenDrops 持续增长说明队列不足)
netstat -s | grep -iE 'listen|overflow'
ss -lnt | head -20
ss -lnt 输出的 Send-Q 列就是当前 listen socket 的 backlog 上限,Recv-Q 是当前队列中的连接数。如果 Recv-Q 经常接近 Send-Q,说明队列偏小。而 netstat -s 里 times the listen queue of a socket overflowed 的计数持续增长,就是队列溢出的直接证据。
3.2 ip_local_port_range 与端口耗尽
作为客户端发起连接时(比如 Nginx 连后端、PHP 连 MySQL、应用连 Redis),每个连接占用一个本地临时端口。默认范围约 28232 个端口,看起来不少,但由于 TIME_WAIT 状态的端口在 60 秒内不能复用,如果短连接速率超过 28232 / 60 ≈ 470 个/秒,就会端口耗尽,报 cannot assign requested address。
把范围扩大到 1024 65535 可得约 64511 个端口,配合 tcp_tw_reuse=1,能承受的短连接速率提升到每秒 1000+。但注意:这只是缓解,根本解法是启用长连接复用。
3.3 TIME_WAIT 的成因与后果
TIME_WAIT 出现在主动关闭连接的一方。它存在的两个原因:一是保证最后一个 ACK 能到达对端(防止对端重发 FIN 时无响应),二是让本次连接的残余报文在网络中消散,避免被后续复用同一四元组的新连接误收。默认持续 60 秒(2 × MSL)。
后果有两方面:占用内存(每个约 0.3-4KB 的内核结构)和占用端口(导致端口耗尽)。十几万个 TIME_WAIT 通常不会直接压垮内存,但会显著增加端口分配压力和 CPU 在哈希查找上的开销。
必须纠正的两个常见误解:
- 不要使用
net.ipv4.tcp_tw_recycle。它在 Linux 4.12 之后已被移除,且在有 NAT 的网络中会因为时间戳校验导致大量连接被丢弃,历史上造成过无数诡异故障。如果你的教程里还在推荐它,那已经过时了。 tcp_tw_reuse只对主动发起连接(客户端侧)有效,它不会消除服务端被动关闭产生的 TIME_WAIT。
真正减少 TIME_WAIT 的办法是三条:启用长连接(让连接不关闭)、让客户端侧主动关闭(对 Nginx 可以用 keepalive 连接池减少关闭次数)、以及降低 tcp_fin_timeout(注意它影响的是 FIN_WAIT_2,不是 TIME_WAIT 时长,TIME_WAIT 的 60 秒在内核中是硬编码的)。
四、第三层:应用层的连接复用与超时
前两层只是在抬高天花板,真正解决连接数问题的是这一层——让连接复用,让连接及时释放。
4.1 Nginx 侧的四个方向
客户端侧与后端侧要分别配置:
# —— 客户端侧(面向用户/浏览器)——
http {
keepalive_timeout 15s 15s; # 空闲连接保持 15 秒,并在响应头中告知客户端
keepalive_requests 1000; # 单连接最多处理 1000 个请求后关闭
send_timeout 10s; # 两次写操作之间的超时
client_header_timeout 10s; # 读取请求头超时
client_body_timeout 10s; # 读取请求体超时
reset_timedout_connection on; # 超时后发 RST 而非 FIN,快速释放
# —— 后端侧(面向 upstream)——
upstream app_backend {
least_conn;
server 10.0.0.11:8080 max_fails=3 fail_timeout=10s;
server 10.0.0.12:8080 max_fails=3 fail_timeout=10s;
keepalive 128; # 每个 worker 维持的空闲长连接数
}
server {
location / {
proxy_pass http://app_backend;
proxy_http_version 1.1; # 必须:默认 1.0 不支持长连接
proxy_set_header Connection ""; # 必须:清除客户端传来的 Connection 头
proxy_connect_timeout 2s; # 与后端建连超时,建议 1-3s
proxy_send_timeout 10s;
proxy_read_timeout 15s; # 等待后端响应超时,按业务 P99 的 2-3 倍设置
}
}
}
keepalive_timeout 的判断标准:设得太长(如默认 75s)会让大量空闲连接占据内存和 fd;设得太短(如 5s)会让客户端频繁重连。经验值是 10-30 秒,配合 CDN 时可以略长,纯 API 服务可以略短。keepalive_requests 默认 100,在 HTTP/2 或大量小请求的场景下应该调大,避免连接频繁重建产生 TIME_WAIT。
4.2 worker 容量核算
Nginx 的最大连接数由 worker_processes × worker_connections 决定,但要注意每个客户端连接实际消耗的 fd 不止 1 个:反向代理场景下,一个客户端连接 + 一个到后端的连接 = 2 个 fd;如果还读静态文件,再加 1 个。
worker_processes auto; # 通常等于 CPU 核数
worker_rlimit_nofile 65535; # 必须 >= worker_connections,且要大于系统 ulimit 上限
events {
use epoll;
worker_connections 16384; # 反代场景下实际客户端并发约为 16384/2
multi_accept on;
}
核算示例:4 核机器,worker_connections=16384,反向代理模式下单 worker 可承载约 8192 个客户端连接,总计约 32768 个客户端连接。此时 worker_rlimit_nofile 必须 ≥ 16384,且 systemd 的 LimitNOFILE 必须 ≥ 16384,系统的 ulimit -n 也必须 ≥ 16384,四者必须匹配——任何一个偏小,Nginx 启动时会在错误日志里报 worker_connections are more than open file resource limit。
五、排查与调优实施清单
- 采集现状:
ss -s、ss -ant | awk '{print $1}' | sort | uniq -c、netstat -s | grep -i overflow、cat /proc/sys/fs/file-nr,确认瓶颈类型。 - 核对 fd 三层限制:系统
fs.file-max、服务LimitNOFILE(systemd 管理的服务必须在这里改)、进程/proc/PID/limits,三者取最小值才是实际生效值。 - 调队列参数:
somaxconn与 Nginxlisten ... backlog=同时调整,用ss -lnt验证 Send-Q。 - 扩端口范围并开启 tw_reuse:仅作为缓解手段。
- 启用长连接:客户端侧
keepalive_timeout,后端侧proxy_http_version 1.1+Connection ""+keepalive N。这一步是根本解法。 - 收紧超时:
proxy_connect/read/send_timeout、client_*_timeout,让异常连接快速释放。 - 加限流保护:
limit_conn限制单 IP 并发,防止慢连接攻击占满连接槽。 - 压测验证:逐步加压,观察 QPS 与 TIME_WAIT 的变化,确认
ss -s中 TIME_WAIT 不再持续增长。 - 固化配置:把 sysctl 写入
/etc/sysctl.conf,把 LimitNOFILE 写入 systemd 单元,避免重启后失效。
# 上线前压测验证(务必在预发环境,逐步加压)
wrk -t4 -c500 -d60s --latency http://www.example.com/
# 压测期间在服务器上观察
watch -n1 'ss -s; echo ---; ss -ant | awk "NR>1 {print \$1}" | sort | uniq -c | sort -rn'
watch -n1 'cat /proc/sys/fs/file-nr'
# 压测后确认无句柄泄漏
lsof -n | awk '{print $2}' | sort | uniq -c | sort -rn | head -10
小结
Web 服务器连接数过高是一个典型的"多层天花板"问题,必须按文件描述符 → 内核队列与端口 → 应用连接复用与超时的顺序逐层排查。只调 worker_connections 而不改 systemd 的 LimitNOFILE,改了也不会生效;只扩端口而不启用长连接,只是把崩溃时间推迟;只启用长连接而不设超时,异常连接会一直占着槽位。
避坑清单:
- 忘记 systemd 的 LimitNOFILE。这是现代发行版上最常见的失效原因——
/etc/security/limits.conf对 systemd 服务不生效,必须用systemctl show验证。 - 开启
tcp_tw_recycle。该参数在 Linux 4.12+ 已移除,且在 NAT 环境下会丢弃大量正常连接,绝对不要使用。 - 只改 somaxconn 不改 Nginx backlog。实际生效值是两者的较小值,改一个没用。
- 启用 upstream keepalive 却忘了 HTTP/1.1 和清空 Connection 头。这两个是启用后端长连接的必要条件,缺一不可。
- 把
keepalive_timeout设得过长(如 300s)。空闲连接会长期占用 fd 和内存,在攻击场景下尤其危险。 - 把
proxy_read_timeout设得过长(默认 60s)。慢请求会长期占用后端连接,高并发下迅速耗尽连接池,应按业务 P99 的 2-3 倍设置,通常 5-15 秒。 tcp_max_tw_buckets设得过小。超过阈值后内核会直接销毁 TIME_WAIT socket 并打印告警,虽然能缓解数量问题,但会破坏 TCP 语义,一般不建议动它。
本文参数默认值随内核版本与发行版不同而有差异(如 CentOS 7 的 somaxconn 为 128,较新内核为 4096),请以 sysctl -a 实际输出为准。所有内核参数修改请在预发环境验证后再上线,并注意 sysctl -p 会应用配置文件中的全部参数。
企业QQ咨询




