数据库连接超时怎么办?连接池、网络链路与服务器负载排查

应用突然大量报 Connection timed out、Communications link failure、The last packet successfully received from the server was X milliseconds ago,接口大面积变慢甚至 500,但数据库本身看起来还在正常运行。这类"连接超时"是排查起来最费劲的故障之一,因为它横跨三个层面:应用连接池、网络链路、数据库服务器负载。任何一个环节出问题,表现都是"连不上",但根因和处置方式完全不同。如果一上来就重启数据库,很可能既没解决问题,还打断了正常的连接。

这篇文章给出一套分层排查的方法:先搞清"连接超时"和"连接被拒"的区别(这决定了往哪个方向查),然后从应用侧、网络侧、数据库侧逐层定位,给出真实的排查命令(ss、tcpdump、mtr、SHOW STATUS、SHOW PROCESSLIST、连接池参数等)。涉及杀连接、改参数、重启服务的操作都会标注风险和回滚方式。

一个必须先建立的认知:超时(timeout)通常是"没响应",被拒(refused)通常是"明确拒绝"。前者多半指向网络丢包、防火墙静默丢弃、服务器卡死或连接数打满;后者多半指向端口没监听、服务没起、max_connections 达到上限。先分辨清楚,能省下大量瞎试的时间。

一、先分清:超时、被拒、断开是三种故障

不同报错的含义和排查方向完全不同,务必对号入座:

报错/现象 含义 首要排查方向
Connection timed out 连接请求发出后一直没有响应 网络丢包、防火墙 DROP、服务器负载过高
Connection refused 端口明确拒绝连接 服务未启动、端口未监听、防火墙 REJECT
Communications link failure 已建立的连接中途断开 空闲超时、网络抖动、服务端重启
too many connections 连接数达到上限 max_connections、连接泄漏
No route to host 无法到达目标主机 路由、安全组、主机不可达
The last packet received ... ago 空闲连接被中间设备/SQL 断开 wait_timeout、NAT/防火墙空闲超时

"超时"和"被拒"的关键区别在于:超时是"对方不理你",被拒是"对方明确说不"。用 ping、telnet、nc 快速验证就能感受出来。

# 探测数据库端口连通性(默认 MySQL 3306 / PostgreSQL 5432)
# nc 更常用
nc -zv -w 3 10.0.0.5 3306
# 输出 "succeeded" 表示 TCP 握手成功
# 输出 "timed out" 表示超时(对端无响应)
# 输出 "Connection refused" 表示端口没人监听

# telnet 也可以
telnet 10.0.0.5 3306

# PostgreSQL 可以用 pg_isready
pg_isready -h 10.0.0.5 -p 5432 -t 3

二、应用侧:连接池是重灾区

绝大多数"偶发连接超时"最终都追到连接池配置上。连接池的核心问题是连接的有效性管理:池子里的连接可能已经被数据库或中间网络设备悄悄断开了,但应用不知道,取出来用时才失败。

常见连接池参数(以 HikariCP、Druid 等为例,语义类似):

参数(Hikari 命名) 作用 常见经验值
maximumPoolSize 池内最大连接数 10~50(与 DB 规格相关)
minimumIdle 最小空闲连接 与 maximumPoolSize 接近
connectionTimeout 从池获取连接的最长等待 3000~30000 ms
idleTimeout 空闲连接被回收的时间 600000 ms
maxLifetime 连接最长存活时间 比 DB 的 wait_timeout 短
validationTimeout 连接有效性校验超时 3000~5000 ms
keepaliveTime 保活探测间隔 30000~120000 ms

几个最容易踩的坑:

  • maxLifetime 比数据库 wait_timeout 长:数据库先把空闲连接踢了,连接池还留着,取出来就报 Communications link failure。让连接池主动先淘汰连接,即 maxLifetime 小于数据库空闲超时,是标准做法。
  • 没开启连接有效性检测:池子里的死连接不会被发现。应开启 validationQuery(MySQL 可用 SELECT 1)或使用 JDBC4 的 isValid() 心跳。
  • connectionTimeout 设得过大:获取连接慢时,线程全堵在池上,故障被放大。设为几秒即可,配合快速失败。
  • 连接泄漏:代码里拿了连接没归还(异常路径没 close),池子逐渐被占满。要开泄漏检测。

Druid 的相关配置示例(application.yml):

spring:
  datasource:
    druid:
      initial-size: 5
      min-idle: 10
      max-active: 50
      max-wait: 3000                 # 获取连接超时,毫秒
      validation-query: SELECT 1
      test-while-idle: true
      test-on-borrow: false
      time-between-eviction-runs-millis: 60000
      min-evictable-idle-time-millis: 300000
      # 让池内连接比数据库 wait_timeout 更早淘汰
      phy-max-use-count: 1000
      keep-alive: true
      remove-abandoned: true         # 连接泄漏回收
      remove-abandoned-timeout: 1800

判断是不是连接池问题,可以看应用的连接池监控指标:活跃连接数、空闲连接数、等待获取连接的线程数、获取连接平均耗时。如果频繁出现"获取连接等待",或者活跃连接长期贴着上限,就是池子配置或泄漏的问题。

三、网络链路:超时最常见的原因

如果应用侧没问题,就往网络查。TCP 连接超时在网络层通常有两个典型原因:丢包和静默丢弃。

排查工具与命令:

# 1) 先看本机到数据库的连接状态:有没有大量 SYN_SENT(说明握手无响应)
ss -ant state syn-sent | grep 3306
ss -antp | grep 3306 | awk '{print $1}' | sort | uniq -c
# 大量 SYN-SENT = 连接超时(对端不回 SYN-ACK)
# 大量 ESTAB = 连接正常
# 大量 TIME-WAIT / CLOSE-WAIT 说明连接在频繁建立或释放异常

# 2) 看路由和丢包(mtr 比 traceroute 更实用,能看每一跳的丢包率)
mtr -rwzc 20 10.0.0.5
# 关注中间跳的 Loss% 和 Avg 延迟;只有最后一跳丢包才是真丢包,
# 中间跳丢包但后续不丢,通常是 ICMP 限速,不必惊慌

# 3) 抓包确认握手到底走到哪一步
sudo tcpdump -nn -i eth0 host 10.0.0.5 and port 3306 -c 20
# 看到 SYN 发出但没有 SYN-ACK 回来 => 对端或中间设备丢了
# 看到 SYN 和 RST 回来 => 被 REJECT(防火墙拒绝)

# 4) 探测 MTU / 分片问题(大包不通、小包通,常见于隧道/VPN 环境)
ping -M do -s 1472 10.0.0.5      # 1472+28=1500,探路 MTU

# 5) 看内核统计有没有丢包/重传
netstat -s | grep -E 'retransmit|timeout|reset'
nstat -az | grep -i retrans

常见网络原因和处理:

  • 防火墙静默 DROP:iptables/nftables/云安全组把流量丢弃而非拒绝,表现为超时。检查规则:
    bash # RHEL/CentOS/Rocky 与 Debian/Ubuntu 都可用 sudo iptables -L -n -v --line-numbers sudo nft list ruleset # 使用 nftables 的系统 # 云服务器还要检查安全组/网络 ACL(在控制台看)
  • NAT/负载均衡空闲超时:中间的 LB、NAT 网关、云负载均衡通常有连接空闲超时(经验值几十秒到几百秒),空闲连接会被静默回收,之后复用就超时。对策是开启 TCP keepalive,让连接定期有流量。
    bash # 查看和调整内核 keepalive(临时生效) sysctl net.ipv4.tcp_keepalive_time # 默认 7200 秒,可调小到 300 sysctl net.ipv4.tcp_keepalive_intvl # 探测间隔 sysctl net.ipv4.tcp_keepalive_probes # 探测次数 # 持久化写入 /etc/sysctl.d/99-tcp.conf 后执行 sysctl --system
  • 跨机房/公网链路抖动:用 mtr 长时间观察,配合监控看 P95/P99 延迟。跨公网连数据库本身就不推荐,敏感业务应走内网或专线。

四、数据库服务器负载:连得上但慢

如果网络通畅、TCP 能握手,但查询又慢又超时,那就是数据库端的问题。按下面顺序看。

先看服务端连接数:

-- MySQL
SHOW STATUS WHERE Variable_name IN ('Threads_connected','Threads_running','Aborted_connects');
SHOW VARIABLES LIKE 'max_connections';
-- Threads_connected 接近 max_connections => 连接不够用

-- 看谁在占连接
SELECT id, user, host, db, command, time, state, LEFT(info,60)
FROM information_schema.processlist
ORDER BY time DESC LIMIT 20;
-- Sleep 且 time 很大 => 空闲连接堆积
-- Query 且 time 很大 => 慢查询

-- PostgreSQL
SELECT count(*) FROM pg_stat_activity;
SELECT pid, usename, state, wait_event_type, wait_event,
       now() - query_start AS duration, left(query,60)
FROM pg_stat_activity
WHERE state <> 'idle'
ORDER BY duration DESC LIMIT 20;

再看服务器资源:

# 一眼看负载、内存、IO 压力
uptime                    # 看 load average
free -h
top -bn1 | head -20
# 磁盘 IO 是否打满(%util 接近 100 就是瓶颈)
iostat -x 1 3             # 需要 sysstat 包
# sysstat 安装:RHEL/CentOS/Rocky: yum install sysstat ; Debian/Ubuntu: apt install sysstat

# 看是谁在吃资源
ps aux --sort=-%cpu | head
ps aux --sort=-%mem | head

常见的"慢到超时"原因:

  • 慢查询堆积:个别 SQL 没走索引、扫大表,把连接占满、把 CPU 打高。开慢日志、用 EXPLAIN 分析(详见索引优化相关文章)。
  • 锁等待:事务互相等待锁,SHOW PROCESSLIST 里能看到 Waiting for table metadata lock / PostgreSQL 的 wait_event_type = Lock。
  • 磁盘 IO 瓶颈:iostat 的 %util 持续 100%、await 很大,说明存储撑不住,所有查询都变慢。
  • 内存不足/交换:free -h 显示 swap 被大量使用,数据库性能断崖式下降。
  • 备份/大事务占用资源:备份、DDL、大批量 UPDATE 在跑,抢占资源。

风险提示:不要一看到超时就重启数据库。重启会中断所有连接、可能触发长时间崩溃恢复,反而延长故障。正确顺序是:先确认是连接数、慢查询还是资源瓶颈,能通过杀慢查询、限流、扩容解决的,就不要重启。真要重启,选低峰、提前备份、准备好回滚。

五、分层排查的标准流程

把上面的内容串成一套可执行的排查顺序:

第一步:分清类型。 看应用报错,是 timeout 还是 refused 还是断开。

第二步:从应用探测网络。 在应用服务器上 nc -zv、pg_isready 或 mysql -e "SELECT 1",确认网络层通不通。

第三步:看应用连接池指标。 是否有等待、是否有泄漏、maxLifetime 是否合理。

第四步:看数据库连接数。 Threads_connected vs max_connections,pg_stat_activity 状态分布。

第五步:看数据库负载。 慢查询、锁等待、CPU、内存、IO。

第六步:看网络与中间设备。 mtr、tcpdump、防火墙规则、LB/NAT 超时、keepalive。

对照速查:

现象 优先排查 常见处置
新建连接超时 网络丢包/防火墙 DROP 查规则、mtr、抓包
端口 refused 服务未启动/端口未监听 起服务、查监听
已连连接偶发断开 空闲超时/keepalive 调 maxLifetime、开 keepalive
连接数打满 泄漏/慢查询 修池、杀慢查询
连得上但查询超时 慢查询/锁/IO 优化 SQL、扩容、加索引
高峰期集中超时 资源瓶颈/洪峰 限流、扩容、读写分离

六、预防与调优建议

  • 连接池与数据库参数对齐:让连接池的 maxLifetime 略小于数据库 wait_timeout(MySQL)或 idle_in_transaction_session_timeout(PG),并开启连接有效性检测。
  • 开启 TCP keepalive 并调短:穿越 NAT/LB 的场景尤其重要,让空闲连接不被中间设备静默回收。
  • 设置合理超时:connectionTimeout、socket 读写超时、wait_timeout 都要显式设置,避免线程被无限期挂住。快速失败优于长时间等待。
  • 监控三件套:连接池使用率、数据库连接数占比、网络 P95/P99 延迟与重传率,任一异常就告警。
  • 数据库留余量:连接数、CPU、内存、IO 都不要长期跑在 80% 以上(经验值),给突发流量留缓冲。
  • 避免公网直连数据库:走内网或专线,减少链路抖动和安全隐患。

常见问题

Q1:超时和被拒,最本质的区别是什么?
超时是"发出去没回应"(对端或中间设备没回 SYN-ACK),多与丢包、防火墙 DROP、负载过高有关;被拒是"明确拒绝"(回了 RST),多与服务未起、端口未监听、防火墙 REJECT 有关。用 nc -zv 就能快速区分。

Q2:为什么高峰期连接老是超时,平时没事?
高峰期并发上来,连接池被占满、数据库连接数达到上限、CPU/IO 达到瓶颈,都会表现为超时。要区分是"连接不够"还是"处理不过慢",前者加连接/扩池,后者优化 SQL/扩容。

Q3:Communications link failure 一定是网络问题吗?
不一定。最常见的原因是连接池复用了被数据库踢掉的空闲连接(wait_timeout 到期),本质是连接池配置问题,不一定是网络断。调到 maxLifetime < wait_timeout 并开校验通常能解决。

Q4:重启数据库能解决连接超时吗?
多数情况下不能,还可能加重故障。重启会中断所有连接、可能触发崩溃恢复。应先定位是连接数、慢查询、锁还是资源瓶颈,针对性处理,最后才考虑重启。

Q5:怎么确认丢包发生在哪一段?
用 mtr -rwzc 20 观察各跳丢包率:只有最后一跳(目标)丢包才是真丢包,中间跳的间歇丢包常是 ICMP 限速。再用 tcpdump 抓握手包,看 SYN 有没有回应,能精确到"卡在哪一步"。

总结

  • 先分清 timeout(无响应)、refused(明确拒绝)、断开(中途失效)三类,方向完全不同,别一上来就重启。
  • 分层排查:应用连接池 → 网络链路 → 数据库负载,每层都有对应的命令和指标。
  • 连接池是高频根因:让 maxLifetime 小于数据库空闲超时、开启有效性校验和 keepalive,能挡掉大部分偶发超时。
  • 网络层用 nc/mtr/tcpdump 定位丢包点,注意防火墙 DROP、NAT/LB 空闲超时和 MTU 问题。
  • 数据库层看连接数占比、慢查询、锁等待、CPU/内存/IO;治本靠优化 SQL、对齐参数、加监控和留资源余量。