N+1 查询
N+1 查询是指先用 1 次查询取出 N 个主对象,再为每个对象分别查询一次关联数据,一共 1+N 次数据库往返。
它在开发环境里往往看不出来:10 条数据多查 10 次,耗时可以忽略;换成生产上每页 100 条、每次往返几毫秒,接口就明显变慢了。解决它也不只有「改成 join」一种办法,join 本身会带来结果膨胀和分页问题。所以,排查时先用 SQL 次数确认问题,再按关联规模选择抓取方式,最后验证分页和查询数量。示例以 Hibernate 5.6 与 6.x 为范围,规范术语参照 Jakarta Persistence 3.1。
1. 面试核心
先记住这几条,再读正文- 在列表里逐项读取未加载的关联,就会形成 N+1;实际次数还受关联对象复用、缓存和批量抓取影响,要用真实页面大小统计 SQL 来确认。卡 · SQL 与指标证据
- 同时 join 两个一对多集合时,每个父对象的结果行数是两个集合元素数的乘积,传输和对象构造的成本可能超过省下的往返。卡 · Join Fetch 关联抓取
- EAGER 和 EntityGraph 规定的是关联的加载要求,具体用 join 还是额外查询由 JPA 实现决定,所以它们都不保证消除 N+1。卡 · EntityGraph 加载范围
- Hibernate 的
@BatchSize(size=16)把待加载的关联每批最多 16 个合并读取;hibernate.jdbc.batch_size管的是写入合批,对 N+1 不起作用。卡 · 批量抓取与写入合批 - 带集合的分页要先分页查父对象 ID,再按本页 ID 抓取关联,才能保持父对象的页大小。卡 · 集合抓取与父对象分页
2. 列表访问与关联查询
Repository 返回列表以后,访问对象上还没加载的属性,仍然会触发查询。比如订单已经加载,但客户信息还没有:
List<Order> orders = orderRepository.findAll(); // 1 次
for (Order order : orders) {
render(order.getCustomer().getName()); // 最多 N 次
}
findAll() 只加载了 Order,循环里每次 getCustomer().getName() 都要去查客户。如果 N 个订单对应 N 个不同的、尚未加载的客户,就会再查 N 次。
注释写的是「最多 N 次」,因为同一个持久化上下文里,同一个客户只会加载一次。如果 20 个订单都属于同一个客户,第一次访问加载了它,后面 19 次直接复用,总共只有 2 次查询,而不是 21 次。所以 N+1 的实际次数取决于数据分布,排查时要用真实页面大小去观察 SQL,只查一两条数据看不出问题。
这个问题也不只出在 ORM 上。在循环里逐项调用 Mapper、RPC 或缓存,形成的是同样的结构。
3. SQL 与指标证据
排查列表接口时,先确认多出了哪些查询、它们花了多少资源。至少记录这些指标:
- 一次请求的 SQL 总数,以及重复出现的 SQL 模板。
- 每条 SQL 的耗时、返回行数和扫描行数。
- 数据库连接的占用时间和等待时间。
- 页面大小变化时,SQL 数量是否跟着成比例增长。这是 N+1 最直接的特征。
开发环境可以直接看 SQL 日志找重复查询。生产环境则用低开销的查询统计、采样追踪和慢查询记录,避免日志本身成为负担。记录 SQL 模板就够了,参数要脱敏,不要把完整参数和敏感字段长期写进日志。
4. Join Fetch 关联抓取
接口确定需要某个关联时,可以用 join fetch 在查询主对象时把它一起加载。下面的查询同时读取订单和客户:
select o
from Order o
join fetch o.customer
where o.status = :status
customer 是一个 to-one 关联(多对一或一对一),每个订单最多对应一个客户,所以 join 之后行数不变,客户数据随订单一起返回,后面访问客户就不用再查了。如果关联可能为空,用 left join fetch 保留没有客户的订单。
to-many 关联(一对多或多对多集合)就不一样了:一个父行会和多个子行组合,join 之后父对象会重复出现在多行里。Hibernate 6.x 会自动去掉 fetch join 产生的重复根实体(也就是查询返回的父对象);在 5.6 中,需要在 JPQL 里写 distinct 来去重父实体。
但这是在 Java 侧去重,和 SQL 行去重是两回事。子行内容各不相同,每一行都要从数据库传过来,再转换成 Java 对象,这个转换过程叫物化。父对象去重时,传输和物化的开销已经付出了。
5. 抓取范围与结果基数
判断一种抓取策略好不好,要同时看 SQL 次数和结果行数,只看其中一个会判断错。
只看次数的问题,上面已经提过:关联对象复用会让实际次数远小于 1+N。反过来,把关联设成 EAGER 也不能说明只有一次查询,因为 EAGER 同样可以通过次级查询实现,注解本身给不出查询次数。
只看次数还会掩盖结果膨胀。一个订单有 10 个商品和 8 个标签,同时 join 两个集合,这个订单会展开成 10 × 8 = 80 行。如果先查父对象,再分别抓取两个集合,关联部分只需读 10 + 8 = 18 行。虽然多了往返,但传输量和对象构造的开销小得多。
同时抓取多个集合还会碰上 Hibernate 的限制。bag 是允许重复元素、又没有持久化位置索引的集合映射,Hibernate 会拒绝同时 fetch 多个 bag 的某些组合。
6. EntityGraph 加载范围
EntityGraph 用来描述某次查询要加载实体的哪些属性。它可以用 @NamedEntityGraph 预先定义,也可以在代码里动态创建。这样同一个实体可以为不同接口加载不同的关联,而实体映射上原来的默认抓取设置保持不变。
使用时要区分两种模式:
- fetchgraph:图中列出的属性按 EAGER 处理,图外的属性按 LAZY 处理,但 JPA 实现仍然可以额外加载。
- loadgraph:图中列出的属性按 EAGER 处理,图外的属性沿用实体映射里的抓取设置。
图描述的只是加载范围,生成什么 SQL 仍由 Hibernate 等实现决定。所以两种方式都要核对实际的查询数量和执行计划。
7. 关联批量抓取
当 join 会产生很大的结果集,或者暂时不确定每个关联是否都会被访问时,可以用批量抓取。Hibernate 的 batch fetching 在需要加载关联时,会收集一批待加载实体或集合的关联键,用 where id in (...) 这样的形式一次查出来,原来的 N 次逐项查询就变成了少数几次批量查询。
实际查询次数仍然受批大小、缓存和访问顺序影响。批次越大,IN 列表里的参数和每次返回的行数也越多,所以压测时要同时检查 IN 参数上限、执行计划和结果集大小。
手写数据访问也可以用同样的思路:先收集外键,再批量读取关联,最后按键分组回填到主对象上。
8. 批量抓取与写入合批
读取关联的合批和写入语句的合批是两套不同的配置,排查 N+1 时要先分清。Hibernate 5.6 与 6.x 用 @BatchSize(size=16) 配置读取合批,注解可以加在实体类型或集合属性上;全局设置是 hibernate.default_batch_fetch_size=16。
触发一次懒加载时,Hibernate 会收集同一上下文中尚未初始化的同类实体代理或集合,size=16 表示每批最多读取 16 个目标。如果待加载的目标不足 16 个、缓存已经命中,或者锁模式不同,实际批次会变化。
hibernate.jdbc.batch_size 控制的是写入语句合批,对逐条的关联 SELECT 不起作用。写入配置见 批处理与分页。
9. DTO 投影
DTO 是只保存接口所需字段的数据对象。如果列表接口只显示订单号、客户名和金额,可以直接把查询结果投影成 DTO,不必构造完整的实体和它的关联:
select new com.example.OrderRow(o.id, c.name, o.amount)
from Order o
join o.customer c
where o.status = :status
查询结果是 OrderRow,里面只有 ID、名称和金额这些标量字段,序列化时直接读值,不会再触发关联加载。代价是这个结果只服务于当前用例,它不是受管实体,修改 DTO 不会触发脏检查。
10. 集合抓取与父对象分页
分页接口要限制的是父对象数量,而 to-many join fetch 会让同一个父记录在结果里重复多次。如果直接按 SQL 行分页,比如 LIMIT 20,取到的可能是 3 个订单展开的 20 行,最后一个订单的商品还被截断了。Hibernate 对集合抓取做分页时,会改为先读取更多结果,再在内存里取当前页,数据量大时代价很高。
要保持父对象的页大小和顺序,可以分两步查询,再组装结果:
- 按稳定排序分页查询父对象 ID。
- 按这一页的 ID 抓取详情和关联。
- 在内存中按第一步的顺序组装结果。
两步限定的是父对象范围,关联仍然可以分批加载,所以最终 SQL 可以不止两条。IN 查询不会自动保留第一步的顺序,组装时要自己恢复;第一步查出空页时直接返回。
两次读取之间如果有并发修改,还要明确接口的一致性要求:可以接受第二次查询读到的最新数据,也可以依靠事务隔离维持快照,或者用版本校验发现变化。
为了尽早发现内存分页,Hibernate 5.6 与 6.x 可以设置:
hibernate.query.fail_on_pagination_over_collection_fetch=true
这样,对集合抓取做分页的查询会直接失败,测试阶段就能暴露问题。发现以后仍然要改成上面的两步查询,并处理两次读取之间的数据变化。
11. 查询回归验证
减少了查询次数,还要确认返回数据和分页结果是对的,并且问题不会随后续改动再次出现。可以这样做:
- 为关键接口加 SQL 数量上限或查询统计断言。
- 用真实页面大小测试,不只查一条数据。
- 代码评审时检查循环里的 Repository/Mapper 调用和实体序列化。
- 压测时同时观察连接池等待、数据库 CPU 和返回行数。
- 新增关联字段时,重新检查查询策略。
12. 面试题卡片
13. 参考资料
- Hibernate ORM 5.6:Fetching
- Hibernate ORM User Guide:Dynamic Fetching
- Jakarta Persistence:Entity Graphs
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明