网站数据库连接池如何配置?连接复用、并发控制与资源规划

现象是这样的:Web 层从 2 台扩到 8 台,QPS 上去了,但数据库 CPU 直接打满,应用日志里刷满了 HikariPool-1 - Connection is not available, request timed out after 30000ms 和 Too many connections。多数人的第一反应是把 maximumPoolSize 从 10 调到 100,然后问题变得更糟——数据库里几百个连接大部分在等待锁或磁盘 I/O,上下文切换开销剧增,响应时间反而变长。数据库连接池配置的核心矛盾是:连接太少则并发上不去,连接太多则数据库被拖垮。本文讲清楚这个"合适数量"该怎么算出来,以及 HikariCP 与 Druid 的关键参数该怎么配。

一、为什么需要连接池

建立一条 MySQL 连接的代价远比想象中大:TCP 三次握手、MySQL 的认证握手、服务端为每个连接分配线程和内存缓冲区(sort_buffer_size、join_buffer_size、read_buffer_size 等按连接分配)。整个过程通常耗时 3-10 毫秒。如果一个请求只执行一条 1 毫秒的 SQL,那建连的开销是执行开销的十倍。

连接池的作用就是预先建立一批连接并复用:请求来了从池里借一条,用完归还,而不是每次都新建和销毁。它同时扮演三个角色:复用器(消除建连开销)、限流器(控制并发,防止压垮数据库)、健康检查器(自动剔除失效连接)。

第三点常被忽视:数据库连接会因为网络抖动、防火墙空闲连接清理、MySQL 的 wait_timeout 而半开半闭。没有连接池的保活与验证机制,应用会拿到一条"看起来正常但一用就报错"的连接。MySQL 的 wait_timeout 默认 28800 秒(8 小时),非交互式连接受这个参数限制;交互式连接受 interactive_timeout 限制,默认同样是 28800 秒。这正是连接池 maxLifetime 必须小于它的原因。

二、HikariCP 核心参数

HikariCP 是 Spring Boot 2.x 起的默认连接池,以性能和简洁著称。以下是必须理解的参数及其默认值:

参数默认值含义配置建议
maximumPoolSize10池中最大连接数(含空闲与在用)按公式计算,通常 10-50
minimumIdle与 maximumPoolSize 相同池中保持的最小空闲连接数固定池设为同值;弹性池可设更小
connectionTimeout30000ms从池中获取连接的最长等待时间5000-10000ms,快速失败优于长时间等待
idleTimeout600000ms(10 分钟)空闲连接被回收前的存活时间仅在 minimumIdle < maximumPoolSize 时生效
maxLifetime1800000ms(30 分钟)连接在池中的最大生命周期,到期即被替换必须小于数据库 wait_timeout,建议 15-25 分钟
keepaliveTime0(关闭)空闲连接的保活探测间隔网络中有防火墙时开启,设为几分钟
validationTimeout5000ms连接有效性验证的超时1000-3000ms,必须小于 connectionTimeout
leakDetectionThreshold0(关闭)连接借出超过该时长未归还则打印告警预发环境设 10000-60000ms 排查泄漏

典型的 application.yml 配置:

spring:
  datasource:
    url: jdbc:mysql://10.0.0.20:3306/appdb?useUnicode=true&characterEncoding=utf8mb4&useSSL=false
    username: appuser
    password: 
    driver-class-name: com.mysql.cj.jdbc.Driver
    hikari:
      maximum-pool-size: 20
      minimum-idle: 10
      connection-timeout: 8000
      idle-timeout: 600000
      max-lifetime: 1500000        # 25 分钟,小于 MySQL wait_timeout 的 28800 秒
      keepalive-time: 300000
      validation-timeout: 3000
      leak-detection-threshold: 30000
      connection-test-query: SELECT 1
      pool-name: AppHikariPool

几个必须说明的细节:

  • minimumIdle 的默认值等于 maximumPoolSize,即 HikariCP 默认是"固定大小池"。此时 idleTimeout 不生效(因为没有需要回收的多余空闲连接)。如果希望池子能弹性收缩,把它设小;如果对响应时间极其敏感、希望连接池始终预热好,保持与最大值相同。
  • maxLifetime 必须比数据库的 wait_timeout 小几分钟以上。否则会出现数据库已经单方面关闭了连接,而连接池还认为它有效的情况。建议 15-25 分钟。
  • 不要同时设置 connectionTestQuery 和使用 JDBC4 驱动。现代驱动支持 isValid(),比执行 SELECT 1 快得多。只有在驱动不支持 JDBC4 时才配置该参数,否则反而降低性能。
  • leakDetectionThreshold 不要在生产长期开启。它会在每次连接借出时启动定时器,有一定开销。建议在预发环境开启排查泄漏,确认无问题后关闭或设为较大的值。

三、Druid 核心参数

Druid 是阿里开源的连接池,在国内广泛使用,优势在于内置监控页面和丰富的防御性配置。参数命名与 HikariCP 不同,容易混淆:

Druid 参数默认值对应 HikariCP 概念说明
initialSize0—启动时初始化连接数,建议设为与 minIdle 相同避免冷启动
minIdle0minimumIdle最小空闲连接
maxActive8maximumPoolSize最大连接数,Druid 的默认 8 偏小
maxWait-1(无限等待)connectionTimeout获取连接最大等待毫秒数,务必显式设置
timeBetweenEvictionRunsMillis60000—检测线程运行间隔
minEvictableIdleTimeMillis1800000idleTimeout连接空闲多久后被回收
maxEvictableIdleTimeMillis25200000(7 小时)maxLifetime 类似物连接最大存活,应小于 wait_timeout
validationQuery—connectionTestQueryMySQL 用 SELECT 1
testWhileIdletruekeepaliveTime 类似物空闲时检测,建议保持 true
testOnBorrowfalse—借出时检测,性能损耗大,建议 false
removeAbandonedfalseleakDetectionThreshold回收疑似泄漏连接,排查时可开启
spring:
  datasource:
    type: com.alibaba.druid.pool.DruidDataSource
    druid:
      url: jdbc:mysql://10.0.0.20:3306/appdb?useUnicode=true&characterEncoding=utf8mb4
      username: appuser
      password: 
      initial-size: 5
      min-idle: 5
      max-active: 20
      max-wait: 8000
      time-between-eviction-runs-millis: 60000
      min-evictable-idle-time-millis: 300000
      max-evictable-idle-time-millis: 1500000
      validation-query: SELECT 1
      test-while-idle: true
      test-on-borrow: false
      test-on-return: false
      filters: stat,wall
      stat-view-servlet:
        enabled: true
        url-pattern: /druid/*

testOnBorrow=true 是一个常见的性能陷阱:它会在每次借出连接时执行一次 SELECT 1,在高 QPS 下会给数据库带来大量无谓查询。正确做法是 testWhileIdle=true + testOnBorrow=false,由后台检测线程定期验证空闲连接。

四、maximumPoolSize 该怎么算:两个公式

4.1 HikariCP 官方经验公式

HikariCP 文档给出的公式是:

connections = ((core_count * 2) + effective_spindle_count)

其中:
  core_count            = CPU 核数
  effective_spindle_count = 有效磁盘主轴数(机械盘按实际盘数,SSD 通常按 1 或盘数计)

示例:4 核 CPU + SSD 存储
  connections = (4 * 2) + 1 = 9  ≈ 10

这个公式背后的逻辑是:数据库连接数超过 CPU 核数的两倍后,再多也不会更快,只会导致线程在锁和 I/O 上互相等待,增加上下文切换。磁盘主轴数代表真实的并行 I/O 能力。

但这个公式算的是整个数据库实例上应有的活跃连接总数,不是一个应用的池大小。这一点必须分清。

4.2 按应用实例分摊:完整的计算示例

实际生产里,一个数据库会被多个应用实例连接。下面是一个完整的推算过程,可以直接套用:

【已知条件】
- 数据库实例:8 核 CPU,SSD
- 应用实例数(Web 服务器台数):6 台
- 除 Web 应用外,还需预留:管理后台 1 个(池大小 5)、
  定时任务 1 个(池大小 3)、DBA 与监控连接 10 个

【第一步】按公式算数据库总容量
  总活跃连接 = (8 * 2) + 1 = 17
  考虑一定的余量与业务混合度,取 25

【第二步】扣除其他消费者
  25 - 5(后台) - 3(定时任务) - 10(DBA/监控) = 7  →  明显不够

  说明数据库规格偏小,需要提升规格或拆分。
  假设把数据库升到 16 核:
  总活跃连接 = (16 * 2) + 1 = 33,取 40
  40 - 5 - 3 - 10 = 22

【第三步】按实例数分摊
  单实例 maximumPoolSize = 22 / 6 = 3.67  →  取 4

  这个值偏小,说明 6 台应用对 16 核库来说偏多。
  权衡后的现实选择:
  - 方案 A:maximumPoolSize = 8,6 台共 48,略超估算值但可接受,
    需配合压测确认数据库 CPU 与锁等待指标正常;
  - 方案 B:减少应用实例到 3 台,maximumPoolSize = 12,总量 36,更贴合公式。

从这个计算能看出一个反直觉但极其重要的结论:连接池大小与应用实例数成反比。当你把 Web 层从 2 台扩到 8 台时,如果不把每台的连接池从 20 降到 5,数据库连接总数就从 40 涨到了 160,很可能直接打满 max_connections(MySQL 默认 151)或让数据库进入饱和区。这就是文章开头那个故障的根因。

4.3 与 max_connections 的匹配校验

【校验公式】
  所需 max_connections ≥ Σ(各应用实例数 × maximumPoolSize) + 预留余量

【示例】
  6 台 × 8 = 48
  后台 1 个 × 5 = 5
  定时任务 1 个 × 3 = 3
  管理与监控 = 10
  小计 = 66
  预留 50% 余量(用于临时扩容、慢查询堆积、连接池重建窗口)
  建议 max_connections = 66 × 1.5 ≈ 100,取 128

【MySQL 侧配置】
  max_connections 默认 151,可支持到数十万,但每个连接占用约
  256KB-数 MB 内存(取决于 buffer 设置),需按实际内存核算。

查看与调整 MySQL 相关参数:

-- 查看当前上限与历史峰值
SHOW VARIABLES LIKE 'max_connections';
SHOW STATUS LIKE 'Max_used_connections';
SHOW STATUS LIKE 'Threads_connected';
SHOW STATUS LIKE 'Threads_running';
SHOW VARIABLES LIKE 'wait_timeout';

-- 在线调整(重启后失效,需同步写入 my.cnf)
SET GLOBAL max_connections = 512;

-- 查看当前所有连接的来源与状态
SELECT id, user, host, db, command, time, state, LEFT(info, 60) AS sql_text
FROM information_schema.PROCESSLIST
ORDER BY time DESC LIMIT 20;

判断标准(这几个指标的阈值非常实用):

  • Max_used_connections / max_connections > 80%:连接数接近上限,必须扩容或减池。
  • Threads_running 持续大于 CPU 核数的 2-3 倍:数据库已经在排队,加连接只会更慢。
  • Threads_connected 很高但 Threads_running 很低:大量连接处于空闲(Sleep),说明连接池设得过大或存在连接泄漏。
  • 大量连接处于 Sending data 或 Locked 状态:瓶颈在 SQL 与锁,不是连接数。

在 /etc/my.cnf 中持久化配置:

[mysqld]
max_connections        = 512
wait_timeout           = 28800
interactive_timeout    = 28800
thread_cache_size      = 64
# 注意:以下 buffer 是"每个连接"分配的,max_connections 越大,总内存消耗越大
sort_buffer_size       = 2M
join_buffer_size       = 2M
read_buffer_size       = 1M
tmp_table_size         = 64M
max_heap_table_size    = 64M

内存核算必须做:max_connections × (各 buffer 之和) 是一笔固定的内存支出。以 512 连接 × 5MB 计算就是 2.5GB,如果机器只有 8GB 内存且还要给 InnoDB Buffer Pool 留空间,就会出问题。所以盲目调大 max_connections 是有代价的,正确方向是减小连接池而不是增大上限。

五、连接泄漏与慢查询:两个真实的池耗尽原因

很多"连接池不够用"的现象,根源不是池太小,而是连接被长时间占用。

原因一:连接未归还(泄漏)。典型表现是池满但数据库里 Threads_running 很低,大量连接处于 Sleep。常见成因是代码中途抛异常但没有在 finally 里关闭、使用手动事务管理忘记提交/回滚。排查手段:

  • HikariCP:临时设置 leak-detection-threshold: 30000,日志会打印未归还连接的堆栈。
  • Druid:开启 removeAbandoned=true、removeAbandonedTimeout=60、logAbandoned=true,会打印泄漏位置。
  • 数据库侧:SELECT * FROM information_schema.PROCESSLIST WHERE command='Sleep' AND time>60;

原因二:慢查询占用。一条 5 秒的 SQL 会让连接被占用 5 秒,QPS 100 时就需要 500 个连接。这种场景加连接池无效,必须优化 SQL。开启慢查询日志:

# /etc/my.cnf
slow_query_log         = 1
slow_query_log_file    = /var/log/mysql/slow.log
long_query_time        = 1
log_queries_not_using_indexes = 1

# 分析慢日志
mysqldumpslow -s t -t 20 /var/log/mysql/slow.log
pt-query-digest /var/log/mysql/slow.log | head -60

判断标准:如果平均每条 SQL 执行时间超过 10 毫秒,连接池压力会显著上升。优化目标是让热点 SQL 控制在 5 毫秒以内——把 50ms 的 SQL 优化到 5ms,相当于连接池容量提升了 10 倍,这比调任何参数都有效。

六、配置实施清单

  1. 统计消费者:列出所有连接数据库的应用、实例数、定时任务、管理后台、监控工具。
  2. 确定数据库规格:记录 CPU 核数与存储类型,用 (core*2)+spindle 估算总活跃连接容量。
  3. 分摊到每个实例:(总容量 - 其他消费者) / 实例数,向下取整并留余量。
  4. 校验 max_connections:确保 Σ(实例数 × 池大小) × 1.3~1.5 ≤ max_connections,否则扩容数据库或减池。
  5. 设置 maxLifetime:小于数据库 wait_timeout(默认 28800 秒),建议 15-25 分钟。
  6. 设置 connectionTimeout:5000-10000ms,让应用在池满时快速失败并触发降级,而不是把请求堆积起来。
  7. 开启 leakDetection:预发环境跑一轮压测,确认无泄漏后再关闭。
  8. 优化慢查询:开启慢日志,把热点 SQL 优化到毫秒级。
  9. 压测验证:逐步加压,观察 Threads_running、获取连接的等待时间、以及数据库 CPU 的关系曲线。
  10. 建立监控:对 Max_used_connections/max_connections、连接池等待数、获取连接耗时设置告警,阈值分别设为 80%、大于 0、大于 100ms。
# 压测期间观察数据库连接状况(每 2 秒刷新)
watch -n2 "mysql -uroot -p'' -e \"SHOW STATUS WHERE Variable_name IN
 ('Threads_connected','Threads_running','Max_used_connections','Aborted_connects');
 SHOW VARIABLES LIKE 'max_connections'\""

# 统计连接来源分布,确认是否符合预期的实例数 × 池大小
mysql -uroot -p'' -e "SELECT SUBSTRING_INDEX(host,':',1) AS src, COUNT(*) AS cnt
 FROM information_schema.PROCESSLIST GROUP BY src ORDER BY cnt DESC;"

# 观察应用侧连接池指标(Spring Boot Actuator 暴露)
curl -s http://127.0.0.1:8080/actuator/metrics/hikaricp.connections.active
curl -s http://127.0.0.1:8080/actuator/metrics/hikaricp.connections.pending
curl -s http://127.0.0.1:8080/actuator/metrics/hikaricp.connections.idle

其中 hikaricp.connections.pending 是最关键的指标:它表示正在等待获取连接的线程数。只要它持续大于 0,就说明连接池是瓶颈。而 connections.active 长期接近 maximum-pool-size,也说明池子偏小或 SQL 偏慢。

小结

数据库连接池配置的本质是在"并发能力"与"数据库承载力"之间取一个经计算得出的平衡点,而不是拍脑袋设一个数字。核心方法论是三句话:先用 (CPU核数 × 2) + 磁盘主轴数 算出数据库的总活跃连接容量,再按应用实例数分摊到每个实例的 maximumPoolSize,最后用 Σ(实例数 × 池大小) × 1.5 校验并反推 max_connections。记住连接池大小与实例数成反比——扩容 Web 层时必须同步缩池。

避坑清单:

  • 把 maximumPoolSize 设成 100、200。以为"池越大越好",实际会让数据库进入锁等待与上下文切换的泥潭,吞吐反而下降。
  • 扩容时不调整连接池。这是"加了机器反而变慢"的头号原因。
  • Druid 的 maxWait 保持默认 -1(无限等待),会导致池满时请求无限堆积,最终拖垮整个应用。必须显式设置为 5-10 秒。
  • maxLifetime 大于数据库 wait_timeout,导致连接被数据库单方面关闭后应用拿到坏连接。
  • testOnBorrow=true,每次借出执行 SELECT 1,白白消耗数据库资源。改用 testWhileIdle。
  • 盲目调大 max_connections。每个连接都会分配 sort/join/read buffer,是实打实的内存支出,需要同步核算内存。
  • 只调池子不优化 SQL。把 100ms 的 SQL 优化到 10ms,比把连接池从 20 加到 200 有效得多。

本文 HikariCP 参数基于 4.x/5.x,Druid 基于 1.2.x,MySQL 基于 5.7/8.0。max_connections 默认值为 151,wait_timeout 默认为 28800 秒,请以实际环境 SHOW VARIABLES 输出为准。