跳到主要内容
约 11 分钟5 张卡

数据库连接池

数据库连接池预先维护一组到数据库的物理连接,业务借用、用完归还,这样既省掉每次建连的开销,又限制了应用同时占用数据库的连接数量。

后一点同样重要:连接池同时是一道并发闸门。池太小,请求排队等连接;池太大,过多的查询同时压到数据库上,反而更慢。配置和排查连接池时,需要理解连接怎样借出和归还,确定容量和超时怎样配,并在连接耗尽时分辨是泄漏、慢查询还是流量超限。下面以 HikariCP 为例。

1. 面试核心​

先记住这几条,再读正文
  • 连接池复用物理连接,业务拿到的是代理连接,调用代理的 close() 是把连接归还池中,不是断开数据库连接。卡 · 代理连接与资源归还
  • maximumPoolSize 限制单个池的连接总数,多实例部署时,数据库看到的是各池上限之和。数据库已经饱和时,扩池只会加剧争用。卡 · 容量验证指标
  • connectionTimeout 只限制等待借连接的时间,借到之后 SQL 跑多久由 Statement.setQueryTimeout 和事务超时限制,各段都要从请求的剩余预算里分配。卡 · 超时预算
  • maxLifetime 控制连接轮换,使用中的连接到期后要等归还才淘汰;keepaliveTime 只对空闲连接做保活检查。
  • leakDetectionThreshold 在连接借出超过阈值时记录借用堆栈,只提供线索,不回收连接;长事务和慢 SQL 也会触发它。卡 · 连接泄漏检测

2. 代理连接与资源归还​

从池里借到的连接,用完必须归还,下一个请求才能复用。手动通过 DataSource 借连接时,用 try-with-resources 保证异常路径上也会关闭:

try (Connection connection = dataSource.getConnection()) {
// execute SQL
}

HikariCP 返回的 Connection 是一个包装了物理连接的代理。离开代码块时,try-with-resources 调用的是代理的 close():它重置连接上必要的状态(例如自动提交、只读等设置),再把物理连接放回池中,底层的 TCP 连接继续保留。如果异常路径上漏了 close(),这条连接就一直算作「借出」,池里可用的连接越来越少。

使用 Spring、JdbcTemplate 或 MyBatis-Spring 时,连接由框架按事务边界获取和释放。事务里的操作应该复用框架绑定在当前事务上的连接,不要绕过它另借一条。

DataSource 和连接池本身要作为长生命周期的组件管理。如果每个请求都新建一个池,复用就无从谈起,并发请求还会各自创建一批物理连接。

3. 连接池容量​

HikariCP 的 maximumPoolSize 是池中连接的总数上限,空闲的和使用中的都算在内。池满且没有空闲连接时,新的 getConnection() 会阻塞等待;等待超过 connectionTimeout 就抛出异常。

所以池大小实际上是这个应用实例访问数据库的并发上限。定这个值时,要同时看三方面:

  • 数据库允许多少连接,以及能高效处理多少并发连接。这两个数通常不一样,后者往往小得多。
  • 单个实例同时有多少数据库操作,每次持有连接多久。
  • 有多少个应用实例共享同一个数据库。

例如 20 个实例各设 100,数据库面对的连接上限就是 2000。数据库的吞吐还受锁、I/O、CPU 和内存限制,连接总数涨上去,吞吐不一定跟着涨。

4. 容量估算与多连接占用​

稳定负载下,平均同时借出的连接数可以粗略估算为「每秒借用次数 × 平均持有秒数」。比如每秒借用 400 次、每次持有 50ms,平均约占用 20 个连接。

20 只是平均值。池容量还要给流量峰值和少数特别慢的请求留余量,同时满足等待时间目标,并控制在数据库能承受的范围内。

多实例部署时,要把所有池的上限加起来算,再给管理操作、数据库迁移和其他服务留出连接。应用扩容时,即使单实例配置不变,总连接数也会被放大,所以扩容前要同步核对数据库容量。

还有一种情况与数据库无关,却能把池卡死:一个请求已经持有一条连接,又去申请第二条。典型例子是 Spring 的 REQUIRES_NEW:外层事务被挂起,但仍占着它的连接,内层事务再从池里借一条新的。假设池大小是 10,10 个请求同时进入外层事务,就把 10 条连接全占了,它们的内层事务都在等第 11 条,谁也等不到。这时数据库里没有任何锁冲突,请求却全部卡在池上。所以要先尽量减少这种嵌套持有,再评估最坏情况下同时需要多少连接,池大小仍然要服从数据库容量。

5. 容量验证指标​

估算只能给出初始值,合不合适要靠压测和生产指标判断。重点看连接等待和数据库负载两侧:

  • active、idle 和 pending,分别是使用中的连接数、空闲连接数和等待连接的线程数。
  • 获取连接的等待时间和超时次数。
  • SQL 执行时间和事务持有连接的时间。
  • 数据库的 CPU、I/O、锁等待和最大连接使用量。
  • 应用实例扩缩容后的总连接数。

如果 active 长期顶在上限,而数据库还有余量,可以小步增大容量,再比较等待时间和吞吐。如果数据库已经饱和,扩池只会让更多慢查询同时进入数据库,争用更严重。这时该做的是优化查询、缩短事务,或者在上游限制并发。

6. 超时预算​

一个请求访问数据库,要经过等待连接、执行 SQL、结束事务几个阶段,每个阶段由不同的超时管:

  • connectionTimeout:从池中等待可用连接的最长时间。
  • JDBC 查询超时:一条语句的执行时间。
  • 事务超时:整个数据库工作单元的持续时间。
  • 请求超时:调用方等待整个接口的时间。

这些超时要从请求的剩余时间里分配,并给回滚和释放资源留出时间。只是把几个配置写成依次递减的数字并不够:一个事务里多条 SQL 的时间会累加,重试也在消耗同一份总预算。如果只设了连接获取超时,借到连接后卡住的慢 SQL 仍然会一直占着连接,所以查询超时和事务超时也要配上。

7. 连接生命周期​

连接池长期复用连接,但也要定期把老连接换掉,原因是数据库、代理或网络设备往往会主动断开存活太久的连接。maxLifetime 限制一条物理连接的最长寿命,如果基础设施有连接寿命上限,这个值要比上限略短,让池先一步替换。正在使用的连接不会在执行中被强行关闭,而是归还以后才淘汰。

keepaliveTime 是对空闲连接做保活检查的间隔,必须比 maxLifetime 短。保活用一次轻量检查确认连接还能用:JDBC4 驱动优先用 Connection.isValid(),只有驱动不支持时才需要配置验证 SQL。

minimumIdle 没有单独设置时,HikariCP 默认让它等于 maximumPoolSize,也就是固定大小的池。要不要让池在空闲时缩小,取决于连接的资源成本和流量模式。

8. 超时取消与连接轮换​

配了超时,还要确认超时之后数据库那边是不是真的停下了。connectionTimeout 只管借连接的等待,借到之后的 SQL 由查询超时管。

JDBC 用 Statement.setQueryTimeout 限制语句执行时间。超时触发后,要验证驱动和数据库实际做了什么:

  • 驱动用什么方式取消查询。
  • 网络异常时,调用要多久才能返回。
  • 数据库是否真的终止了这条 SQL。

事务超时还取决于事务管理器怎样把剩余时间传给每条语句。

看一个预算例子。请求总预算 1s,等连接已经花了 300ms,留给执行、回滚、释放和响应的只剩 700ms。如果还给每条 SQL 配 900ms 的超时,就已经超出总预算了。外层 HTTP 超时返回以后,查询并不会自动停止,还得靠线程或驱动去取消;没真正取消的话,连接仍然被占着。

maxLifetime 管不了长事务。上一节说过,使用中的连接要等归还才淘汰,所以即使 maxLifetime 设得很短,一个无限长的事务也会一直占着连接,直到数据库或代理按自己的时限把它断开。事务执行时间要用事务超时单独限制。空闲连接被断开的问题,则要结合 keepalive、池的空闲管理和基础设施的策略处理,不要指望用一个连接寿命值解决所有超时。

9. 连接泄漏检测​

连接泄漏是指连接借出后没有归还。不过连接长时间不归还,不一定是泄漏,可能的原因有:

  • 应用在异常路径上没有调用 close()。
  • 事务里包含远程调用、文件处理或长时间计算。
  • 流式 ResultSet 还没关闭。
  • 异步任务或线程切换让资源脱离了原来的作用域。
  • 数据库阻塞,让连接看起来一直没归还。

HikariCP 用 leakDetectionThreshold 检测疑似泄漏:连接离开池的时间超过这个阈值,就记录一条带借用堆栈的告警。告警只是线索,HikariCP 不会因此回收正在使用的连接。长事务和慢 SQL 超过阈值也会触发同样的告警,所以要看工作结束后连接最终有没有归还,才能区分。

10. 连接池耗尽的排查顺序​

连接池耗尽只说明可用连接用完了,原因要结合应用和数据库两边判断。排查沿着「等待、占用、归还」这条线展开:

  1. 确认 pending、active 和获取超时是否同时上升。
  2. 找出占用连接最久的调用栈、事务和 SQL。
  3. 在数据库侧查看正在运行的语句、锁等待和连接状态。
  4. 判断是连接没归还、查询变慢,还是流量超过了容量。
  5. 修复根因后重新压测池大小和超时,而不是直接永久扩容。

11. HikariCP 的内部性能机制​

每次借还连接都要经过池内部的管理代码,这是高频路径。HikariCP 从连接交接、代理调用和集合操作三处减少这部分开销:

  • ConcurrentBag:借连接时,先在当前线程的 ThreadLocal 缓存里找以前用过的连接;找不到再去共享集合里找,归还的连接也可以直接交给正在等待的线程,减少竞争和交接延迟。连接的借出状态用 CAS 更新(只有状态仍等于预期值时才修改),保证同一条连接不会被两个线程同时借走。
  • 字节码与 JIT 内联:内联是指编译器把被调用的方法展开到调用处,省掉方法调用的开销。HikariCP 把热点方法写得很短,并简化继承层次,减少类型转换和调用开销,让关键路径更容易被 JIT 内联。
  • FastList:连接代理用它记录打开的 Statement。内部逻辑已经保证下标有效,所以它去掉了下标范围检查;删除时从尾部往前找,因为后创建的 Statement 通常先关闭,从尾部更快找到。

这些优化降低的是池自身借还和代理管理的开销。端到端延迟仍然取决于 SQL、锁等待、网络和连接持有时间。比较连接池性能时,要先固定驱动、池容量和负载,再比较等待时间和吞吐。

12. 面试题卡片​

13. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明