应用突然大量报 Connection timed out、Communications link failure、The last packet successfully received from the server was X milliseconds ago,接口大面积变慢甚至 500,但数据库本身看起来还在正常运行。这类"连接超时"是排查起来最费劲的故障之一,因为它横跨三个层面:应用连接池、网络链路、数据库服务器负载。任何一个环节出问题,表现都是"连不上",但根因和处置方式完全不同。如果一上来就重启数据库,很可能既没解决问题,还打断了正常的连接。
这篇文章给出一套分层排查的方法:先搞清"连接超时"和"连接被拒"的区别(这决定了往哪个方向查),然后从应用侧、网络侧、数据库侧逐层定位,给出真实的排查命令(ss、tcpdump、mtr、SHOW STATUS、SHOW PROCESSLIST、连接池参数等)。涉及杀连接、改参数、重启服务的操作都会标注风险和回滚方式。
一个必须先建立的认知:超时(timeout)通常是"没响应",被拒(refused)通常是"明确拒绝"。前者多半指向网络丢包、防火墙静默丢弃、服务器卡死或连接数打满;后者多半指向端口没监听、服务没起、max_connections 达到上限。先分辨清楚,能省下大量瞎试的时间。
一、先分清:超时、被拒、断开是三种故障
不同报错的含义和排查方向完全不同,务必对号入座:
| 报错/现象 | 含义 | 首要排查方向 |
|---|---|---|
| Connection timed out | 连接请求发出后一直没有响应 | 网络丢包、防火墙 DROP、服务器负载过高 |
| Connection refused | 端口明确拒绝连接 | 服务未启动、端口未监听、防火墙 REJECT |
| Communications link failure | 已建立的连接中途断开 | 空闲超时、网络抖动、服务端重启 |
| too many connections | 连接数达到上限 | max_connections、连接泄漏 |
| No route to host | 无法到达目标主机 | 路由、安全组、主机不可达 |
| The last packet received ... ago | 空闲连接被中间设备/SQL 断开 | wait_timeout、NAT/防火墙空闲超时 |
"超时"和"被拒"的关键区别在于:超时是"对方不理你",被拒是"对方明确说不"。用 ping、telnet、nc 快速验证就能感受出来。
# 探测数据库端口连通性(默认 MySQL 3306 / PostgreSQL 5432)
# nc 更常用
nc -zv -w 3 10.0.0.5 3306
# 输出 "succeeded" 表示 TCP 握手成功
# 输出 "timed out" 表示超时(对端无响应)
# 输出 "Connection refused" 表示端口没人监听
# telnet 也可以
telnet 10.0.0.5 3306
# PostgreSQL 可以用 pg_isready
pg_isready -h 10.0.0.5 -p 5432 -t 3
二、应用侧:连接池是重灾区
绝大多数"偶发连接超时"最终都追到连接池配置上。连接池的核心问题是连接的有效性管理:池子里的连接可能已经被数据库或中间网络设备悄悄断开了,但应用不知道,取出来用时才失败。
常见连接池参数(以 HikariCP、Druid 等为例,语义类似):
| 参数(Hikari 命名) | 作用 | 常见经验值 |
|---|---|---|
| maximumPoolSize | 池内最大连接数 | 10~50(与 DB 规格相关) |
| minimumIdle | 最小空闲连接 | 与 maximumPoolSize 接近 |
| connectionTimeout | 从池获取连接的最长等待 | 3000~30000 ms |
| idleTimeout | 空闲连接被回收的时间 | 600000 ms |
| maxLifetime | 连接最长存活时间 | 比 DB 的 wait_timeout 短 |
| validationTimeout | 连接有效性校验超时 | 3000~5000 ms |
| keepaliveTime | 保活探测间隔 | 30000~120000 ms |
几个最容易踩的坑:
maxLifetime比数据库wait_timeout长:数据库先把空闲连接踢了,连接池还留着,取出来就报Communications link failure。让连接池主动先淘汰连接,即maxLifetime小于数据库空闲超时,是标准做法。- 没开启连接有效性检测:池子里的死连接不会被发现。应开启
validationQuery(MySQL 可用SELECT 1)或使用 JDBC4 的isValid()心跳。 connectionTimeout设得过大:获取连接慢时,线程全堵在池上,故障被放大。设为几秒即可,配合快速失败。- 连接泄漏:代码里拿了连接没归还(异常路径没 close),池子逐渐被占满。要开泄漏检测。
Druid 的相关配置示例(application.yml):
spring:
datasource:
druid:
initial-size: 5
min-idle: 10
max-active: 50
max-wait: 3000 # 获取连接超时,毫秒
validation-query: SELECT 1
test-while-idle: true
test-on-borrow: false
time-between-eviction-runs-millis: 60000
min-evictable-idle-time-millis: 300000
# 让池内连接比数据库 wait_timeout 更早淘汰
phy-max-use-count: 1000
keep-alive: true
remove-abandoned: true # 连接泄漏回收
remove-abandoned-timeout: 1800
判断是不是连接池问题,可以看应用的连接池监控指标:活跃连接数、空闲连接数、等待获取连接的线程数、获取连接平均耗时。如果频繁出现"获取连接等待",或者活跃连接长期贴着上限,就是池子配置或泄漏的问题。
三、网络链路:超时最常见的原因
如果应用侧没问题,就往网络查。TCP 连接超时在网络层通常有两个典型原因:丢包和静默丢弃。
排查工具与命令:
# 1) 先看本机到数据库的连接状态:有没有大量 SYN_SENT(说明握手无响应)
ss -ant state syn-sent | grep 3306
ss -antp | grep 3306 | awk '{print $1}' | sort | uniq -c
# 大量 SYN-SENT = 连接超时(对端不回 SYN-ACK)
# 大量 ESTAB = 连接正常
# 大量 TIME-WAIT / CLOSE-WAIT 说明连接在频繁建立或释放异常
# 2) 看路由和丢包(mtr 比 traceroute 更实用,能看每一跳的丢包率)
mtr -rwzc 20 10.0.0.5
# 关注中间跳的 Loss% 和 Avg 延迟;只有最后一跳丢包才是真丢包,
# 中间跳丢包但后续不丢,通常是 ICMP 限速,不必惊慌
# 3) 抓包确认握手到底走到哪一步
sudo tcpdump -nn -i eth0 host 10.0.0.5 and port 3306 -c 20
# 看到 SYN 发出但没有 SYN-ACK 回来 => 对端或中间设备丢了
# 看到 SYN 和 RST 回来 => 被 REJECT(防火墙拒绝)
# 4) 探测 MTU / 分片问题(大包不通、小包通,常见于隧道/VPN 环境)
ping -M do -s 1472 10.0.0.5 # 1472+28=1500,探路 MTU
# 5) 看内核统计有没有丢包/重传
netstat -s | grep -E 'retransmit|timeout|reset'
nstat -az | grep -i retrans
常见网络原因和处理:
- 防火墙静默 DROP:
iptables/nftables/云安全组把流量丢弃而非拒绝,表现为超时。检查规则:
bash # RHEL/CentOS/Rocky 与 Debian/Ubuntu 都可用 sudo iptables -L -n -v --line-numbers sudo nft list ruleset # 使用 nftables 的系统 # 云服务器还要检查安全组/网络 ACL(在控制台看) - NAT/负载均衡空闲超时:中间的 LB、NAT 网关、云负载均衡通常有连接空闲超时(经验值几十秒到几百秒),空闲连接会被静默回收,之后复用就超时。对策是开启 TCP keepalive,让连接定期有流量。
bash # 查看和调整内核 keepalive(临时生效) sysctl net.ipv4.tcp_keepalive_time # 默认 7200 秒,可调小到 300 sysctl net.ipv4.tcp_keepalive_intvl # 探测间隔 sysctl net.ipv4.tcp_keepalive_probes # 探测次数 # 持久化写入 /etc/sysctl.d/99-tcp.conf 后执行 sysctl --system - 跨机房/公网链路抖动:用
mtr长时间观察,配合监控看 P95/P99 延迟。跨公网连数据库本身就不推荐,敏感业务应走内网或专线。
四、数据库服务器负载:连得上但慢
如果网络通畅、TCP 能握手,但查询又慢又超时,那就是数据库端的问题。按下面顺序看。
先看服务端连接数:
-- MySQL
SHOW STATUS WHERE Variable_name IN ('Threads_connected','Threads_running','Aborted_connects');
SHOW VARIABLES LIKE 'max_connections';
-- Threads_connected 接近 max_connections => 连接不够用
-- 看谁在占连接
SELECT id, user, host, db, command, time, state, LEFT(info,60)
FROM information_schema.processlist
ORDER BY time DESC LIMIT 20;
-- Sleep 且 time 很大 => 空闲连接堆积
-- Query 且 time 很大 => 慢查询
-- PostgreSQL
SELECT count(*) FROM pg_stat_activity;
SELECT pid, usename, state, wait_event_type, wait_event,
now() - query_start AS duration, left(query,60)
FROM pg_stat_activity
WHERE state <> 'idle'
ORDER BY duration DESC LIMIT 20;
再看服务器资源:
# 一眼看负载、内存、IO 压力
uptime # 看 load average
free -h
top -bn1 | head -20
# 磁盘 IO 是否打满(%util 接近 100 就是瓶颈)
iostat -x 1 3 # 需要 sysstat 包
# sysstat 安装:RHEL/CentOS/Rocky: yum install sysstat ; Debian/Ubuntu: apt install sysstat
# 看是谁在吃资源
ps aux --sort=-%cpu | head
ps aux --sort=-%mem | head
常见的"慢到超时"原因:
- 慢查询堆积:个别 SQL 没走索引、扫大表,把连接占满、把 CPU 打高。开慢日志、用
EXPLAIN分析(详见索引优化相关文章)。 - 锁等待:事务互相等待锁,
SHOW PROCESSLIST里能看到Waiting for table metadata lock/ PostgreSQL 的wait_event_type = Lock。 - 磁盘 IO 瓶颈:
iostat的%util持续 100%、await很大,说明存储撑不住,所有查询都变慢。 - 内存不足/交换:
free -h显示 swap 被大量使用,数据库性能断崖式下降。 - 备份/大事务占用资源:备份、DDL、大批量
UPDATE在跑,抢占资源。
风险提示:不要一看到超时就重启数据库。重启会中断所有连接、可能触发长时间崩溃恢复,反而延长故障。正确顺序是:先确认是连接数、慢查询还是资源瓶颈,能通过杀慢查询、限流、扩容解决的,就不要重启。真要重启,选低峰、提前备份、准备好回滚。
五、分层排查的标准流程
把上面的内容串成一套可执行的排查顺序:
第一步:分清类型。 看应用报错,是 timeout 还是 refused 还是断开。
第二步:从应用探测网络。 在应用服务器上 nc -zv、pg_isready 或 mysql -e "SELECT 1",确认网络层通不通。
第三步:看应用连接池指标。 是否有等待、是否有泄漏、maxLifetime 是否合理。
第四步:看数据库连接数。 Threads_connected vs max_connections,pg_stat_activity 状态分布。
第五步:看数据库负载。 慢查询、锁等待、CPU、内存、IO。
第六步:看网络与中间设备。 mtr、tcpdump、防火墙规则、LB/NAT 超时、keepalive。
对照速查:
| 现象 | 优先排查 | 常见处置 |
|---|---|---|
| 新建连接超时 | 网络丢包/防火墙 DROP | 查规则、mtr、抓包 |
| 端口 refused | 服务未启动/端口未监听 | 起服务、查监听 |
| 已连连接偶发断开 | 空闲超时/keepalive | 调 maxLifetime、开 keepalive |
| 连接数打满 | 泄漏/慢查询 | 修池、杀慢查询 |
| 连得上但查询超时 | 慢查询/锁/IO | 优化 SQL、扩容、加索引 |
| 高峰期集中超时 | 资源瓶颈/洪峰 | 限流、扩容、读写分离 |
六、预防与调优建议
- 连接池与数据库参数对齐:让连接池的
maxLifetime略小于数据库wait_timeout(MySQL)或idle_in_transaction_session_timeout(PG),并开启连接有效性检测。 - 开启 TCP keepalive 并调短:穿越 NAT/LB 的场景尤其重要,让空闲连接不被中间设备静默回收。
- 设置合理超时:
connectionTimeout、socket 读写超时、wait_timeout都要显式设置,避免线程被无限期挂住。快速失败优于长时间等待。 - 监控三件套:连接池使用率、数据库连接数占比、网络 P95/P99 延迟与重传率,任一异常就告警。
- 数据库留余量:连接数、CPU、内存、IO 都不要长期跑在 80% 以上(经验值),给突发流量留缓冲。
- 避免公网直连数据库:走内网或专线,减少链路抖动和安全隐患。
常见问题
Q1:超时和被拒,最本质的区别是什么?
超时是"发出去没回应"(对端或中间设备没回 SYN-ACK),多与丢包、防火墙 DROP、负载过高有关;被拒是"明确拒绝"(回了 RST),多与服务未起、端口未监听、防火墙 REJECT 有关。用 nc -zv 就能快速区分。
Q2:为什么高峰期连接老是超时,平时没事?
高峰期并发上来,连接池被占满、数据库连接数达到上限、CPU/IO 达到瓶颈,都会表现为超时。要区分是"连接不够"还是"处理不过慢",前者加连接/扩池,后者优化 SQL/扩容。
Q3:Communications link failure 一定是网络问题吗?
不一定。最常见的原因是连接池复用了被数据库踢掉的空闲连接(wait_timeout 到期),本质是连接池配置问题,不一定是网络断。调到 maxLifetime < wait_timeout 并开校验通常能解决。
Q4:重启数据库能解决连接超时吗?
多数情况下不能,还可能加重故障。重启会中断所有连接、可能触发崩溃恢复。应先定位是连接数、慢查询、锁还是资源瓶颈,针对性处理,最后才考虑重启。
Q5:怎么确认丢包发生在哪一段?
用 mtr -rwzc 20 观察各跳丢包率:只有最后一跳(目标)丢包才是真丢包,中间跳的间歇丢包常是 ICMP 限速。再用 tcpdump 抓握手包,看 SYN 有没有回应,能精确到"卡在哪一步"。
总结
- 先分清 timeout(无响应)、refused(明确拒绝)、断开(中途失效)三类,方向完全不同,别一上来就重启。
- 分层排查:应用连接池 → 网络链路 → 数据库负载,每层都有对应的命令和指标。
- 连接池是高频根因:让
maxLifetime小于数据库空闲超时、开启有效性校验和 keepalive,能挡掉大部分偶发超时。 - 网络层用
nc/mtr/tcpdump定位丢包点,注意防火墙 DROP、NAT/LB 空闲超时和 MTU 问题。 - 数据库层看连接数占比、慢查询、锁等待、CPU/内存/IO;治本靠优化 SQL、对齐参数、加监控和留资源余量。
企业QQ咨询




