GC 停顿分析
GC 停顿分析要回答的问题是:业务延迟里,有多少真的是垃圾回收造成的,原因又是什么。GC 日志告诉你每次回收做了什么、花了多久;JFR(Java Flight Recorder,JVM 内置的运行事件记录工具)告诉你同一时刻应用在做什么。两者对上时间,才能下结论。
排障时有三处容易出错:把日志里的当前堆容量当成 -Xmx,把所有停顿都算在 GC 头上,以及只看到「GC 频繁」就去调参数。分清回收前后占用、安全点等待和分配压力与存活对象的区别,这类问题就能有条理地讲出来。
1. 面试核心
先记住这几条,再读正文-Xlog:gc*,safepoint可以同时记录 GC 和安全点事件,这是分析停顿的起点。- GC 日志里括号中的堆大小是当前容量,最大堆容量要看
-Xmx,两者不一定相等。卡 · 堆容量与 CPU 时间 - 负载相近、回收范围一致时,GC 后的存活占用持续增长,说明被保留的对象在变多;回收后占用明显下降但很快涨回,则应重点检查分配率。卡 · Unified Logging 配置
- JFR 能把 GC、分配样本和线程事件放到同一条时间线上,用来解释回收发生时应用在做什么。卡 · Unified Logging 配置
2. Unified Logging 配置
Unified Logging(统一日志)是 HotSpot 用来记录 GC、安全点等运行事件的日志框架,通过 -Xlog 配置。分析停顿时要让日志带上时间,才能和业务监控对齐。Java 17、21 可以使用下面的配置:
java \
-Xlog:gc*,safepoint:file=/logs/gc.log:time,uptime,level,tags:filecount=10,filesize=100m \
-jar app.jar
这一行配置的几部分各有用处:
gc*,safepoint选择要记录的标签。gc*匹配包含gc的标签组合,例如gc,heap;safepoint记录安全点事件。time记录实际日期时间,方便和监控、发布记录对齐;uptime记录 JVM 启动后经过的时间,方便分辨重启前后的事件。filecount和filesize控制日志轮转,避免日志写满磁盘。长期运行时最好再配一个磁盘告警。
具体支持哪些选项,可以用 java -Xlog:help 查看。默认级别不足以解释某次暂停时,可以短期打开 gc+phases=debug 看各阶段耗时,排查完再改回原来的级别,免得调试日志一直写。
3. GC 事件信息
一条暂停时长只说明花了多久,要解释为什么,还得知道回收了哪里、腾出了多少空间。读一次 GC 事件时,把下面四类信息放在一起看:
- 收集器和事件类型:比如 G1 的 Young、Mixed、Full,或 ZGC 的回收周期。
- 触发原因和 GC ID:原因比如分配失败、元数据阈值或
System.gc();GC ID 用来把同一次回收的多行日志串起来。 - 回收前后的占用和当前容量:看腾出了多少空间,剩下的空间够不够用。
- 暂停时间和阶段耗时:先看总暂停多长,再找最慢的阶段。
把这几项连起来,就能初步判断方向。回收后占用明显下降、随后又很快涨上去,要重点查分配率;回收后占用仍然很高,就要结合回收范围看存活对象是不是太多。注意 Young GC 主要处理年轻代,所以单凭一次 Young GC 后老年代占用高,不能判定为内存泄漏。
阶段耗时能进一步缩小排查范围。Object Copy 慢,先检查存活对象的复制量;Root Scan 慢,先检查线程根、其他根集合和 RSet(记忆集,记录跨区域引用的结构)的扫描量。耗时增加也可能受 CPU 调度影响,不能只凭阶段名称确定原因。
3.1 堆容量与 CPU 时间
日志里的占用、容量和 CPU 时间含义各不相同,读错了就会误判堆大小或停顿成本。看一组示意日志:
GC(12) Pause Young (Normal) (G1 Evacuation Pause) 800M->200M(1024M) 20.000ms
GC(12) User=0.06s Sys=0.01s Real=0.02s
800M 和 200M 是这次 GC 前后的堆占用,所以这次净腾出了 600M。括号里的 1024M 是当前堆容量,堆可以在运行中扩缩,最大堆容量要另外查 -Xmx。末尾的 20ms 是这次暂停的耗时。
第二行的 User 和 Sys 是这段时间里进程在用户态和内核态消耗的 CPU 时间,Real 是实际经过的时间,也叫墙钟时间。多个 GC 线程并行工作时,CPU 时间会累加,所以 User + Sys 超过 Real 是正常的。
反过来,如果 Real 明显偏高而 CPU 时间很少,说明 GC 线程大部分时间没在干活,而是在等,要继续查调度延迟、CPU 节流和缺页。CPU 时间只说明处理器消耗了多少,对业务的影响还要看请求延迟和吞吐。
4. GC 类型与回收范围
Minor、Major、Full 这几个词,不同收集器的用法并不统一。所以写分析结论时,要写出具体的收集器和日志里的事件名,再说明实际回收了哪些区域、结果如何。同时要分清并发工作和 STW(Stop-The-World,暂停所有应用线程的阶段):并发阶段允许应用继续运行,它的总耗时不能直接算作全局停顿时间。
举两个例子。G1 的 Mixed GC 会回收年轻代和一部分老年代 Region,这是正常的局部疏散,不等于 Full GC。ZGC 在 Java 21 有分代模式,分年轻代和老年代两种回收周期,不开分代时则不区分,所以分析前要先确认实际启用的是哪种模式。ZGC 的回收周期大部分工作和应用线程同时执行,周期总时长和 STW 总时长差别很大,不能混在一起比较。
ZGC 的分代模式见低延迟垃圾收集器。
5. GC 停顿、安全点与系统停顿
请求延迟的长尾(少数特别慢的请求)不一定来自 GC。在同一个时间窗口里,至少要分开下面五种耗时:
- JVM 等待所有线程到达安全点,之后才能开始全局操作。
- GC 在线程暂停期间扫描或复制对象。
- 进程被 CPU 配额节流,或者在等操作系统调度。
- 进程发生需要读盘的缺页、内存换页,或者虚拟机在等宿主机分配 CPU。
- 应用在等锁、线程池、I/O 或下游响应。
前两种都在 JVM 内部,但性质不同。安全点是线程停在一个 JVM 能安全检查它状态的位置,安全点日志会把「等所有线程到达」的时间和「暂停期间实际干活」的时间分开记录。所以即使某个 GC 阶段很短,也要看整个暂停事件的总时间。如果 GC 停顿和业务长尾根本不在同一个窗口,就该转去查应用等待和系统调度。
6. JFR 关联分析
GC 日志能定位到回收的哪个阶段慢,JFR 帮你判断那段时间应用在做什么。下面采集 5 分钟的记录,采集窗口要覆盖延迟升高的时段:
jcmd <pid> JFR.start name=latency settings=profile duration=5m filename=/logs/latency.jfr
记录文件可以用 JMC(JDK Mission Control,JFR 的分析工具)打开。先按实例和时间对齐业务监控,再看下面几组事件:
- GC pause 和 concurrent phase:分别显示暂停阶段和并发阶段。
- 分配事件和样本:显示对象在哪里创建、分配压力有多大。
- Old Object Sample 和 heap statistics:提供存活对象和堆占用的线索。
- Safepoint、CPU Load 和线程活动:帮助判断协调和调度成本。
- Java Monitor Blocked 和 Thread Park:定位锁竞争和线程等待。
- Compilation 和 Code Cache:判断即时编译、代码缓存和预热的成本。
用分配事件估算分配量时,要先弄清每种事件记录的是什么。TLAB(Thread-Local Allocation Buffer)是堆里划给单个线程、用来快速分配对象的一小块区域。ObjectAllocationInNewTLAB 只记录「当前 TLAB 用完、要申请新 TLAB」的那一次分配,ObjectAllocationOutsideTLAB 只记录在 TLAB 外完成的分配。绝大多数对象在 TLAB 里直接分配,不会触发这两种事件,所以它们的条数不能代表所有对象。
ObjectAllocationSample 是按采样记录的,估算分配量时要用样本带的权重。哪些事件启用、阈值多高,由录制配置(recording settings)决定;看不到某类事件时,先检查配置有没有记录它。
Old Object Sample 能指出一部分长期存活的对象,但它只是采样。要确认某个对象为什么一直被持有,还要用堆转储看它的保留路径。
7. 常见原因
同样是 GC 频繁,分配多和存活多是两回事,处理方法完全不同。下面按日志里能看到的现象,分别说明原因和下一步该查什么。
7.1 分配压力
分配压力指单位时间内新分配的字节数太多。请求量或批次变大,每秒分配的字节数跟着上涨,年轻代更快被填满,GC 就更频繁,GC 消耗的 CPU 也会上升,最终影响吞吐和长尾延迟。这时日志的特征是回收后占用能降下来,但很快又涨回去。处理方法是用分配分析找到创建对象最多的位置,优先去掉没用的中间对象,并限制单批处理的峰值。
7.2 存活对象与堆余量
存活对象总量(live set)是 GC 判断仍需保留的对象占用的空间。观察它时要确认回收范围,局部回收后的整个堆占用不能直接当作全堆的 live set。存活对象总量接近堆上限时,留给新分配和疏散复制的空间就少了,并发周期可能变得更频繁,严重时会出现 Full GC、退化回收或分配停顿,具体表现取决于收集器。
这时要分清两种情况:业务确实需要这么多对象,还是已经没用的对象被意外持有了。前者要评估堆容量够不够,后者要修复对象的生命周期。
7.3 安全点到达延迟
日志里 Reaching safepoint 的时间偏高,说明 JVM 花了很久才让所有线程停到安全点。这段等待发生在真正的停顿工作开始之前,但应用一样感受得到。排查时要看当时各线程的状态、JIT 编译后的代码和系统调度情况,并结合目标 JDK 的行为判断。
线程在执行 native 代码时可以算作处于安全状态,具体见安全点。另外,收集器的暂停目标(比如 G1 的 MaxGCPauseMillis)是用来安排回收工作量的,调低它并不能缩短等线程到达安全点的时间。
7.4 显式回收与元数据阈值
有些回收不是堆空间不够引起的,而是显式请求或元数据压力触发的,所以先看日志里的 cause。
应用调用 System.gc() 时,在 G1 下可以评估 -XX:+ExplicitGCInvokesConcurrent,让显式请求走并发回收;-XX:+DisableExplicitGC 则直接忽略应用发出的显式 GC 请求。诊断工具也可能发起回收,所以还要核对当时有没有人在做诊断采集,相关影响见JVM 诊断。
cause 是 Metadata GC Threshold 时,说明类元数据的分配触发了回收。Metaspace 是 JVM 存放类元数据的本地内存区域,这时要检查 Metaspace 占用和类加载器的数量是否在增长。这个原因本身不能证明 Java 堆有泄漏。
8. 调优步骤
调优的目标是让业务指标变好,而且每一处变化都能说清楚是哪项改动带来的。按下面的顺序推进:
- 明确业务的延迟、吞吐和资源目标。
- 建立日志、JFR 和负载的基线。
- 先修复异常分配和无界持有。
- 确认堆、容器内存和 CPU 配额都有余量。
- 每次只改一类参数,并回放相同的负载。
- 比较暂停时间分位数、GC CPU、吞吐和 RSS(进程当前驻留在物理内存里的大小)。
比较时以收集器的默认自适应配置为基线,只针对已经观察到的原因调整。一次加一大堆参数,既分不清收益来自哪一项,还可能打乱收集器原本的自适应行为。
9. 常见问题
9.1 Young GC 很频繁就是问题吗?
不一定。单次暂停很短、GC CPU 可以接受、业务目标也满足时,频率高本身不需要处理。要判断是否有问题,得对照分配率、总 CPU 和端到端延迟一起看。
9.2 出现一次 Full GC 就需要调堆吗?
先看触发原因。空间不足引起的,要分析容量和存活量;显式 GC、诊断或维护操作引起的,要找到发起者。长期在线的服务应尽量避免不可预测的长停顿,所以判断时把耗时和重复频率一起记录下来。
9.3 开启 JFR 会影响性能吗?
会有开销,但 JFR 本身就是为低开销持续采集设计的。实际成本取决于开了哪些事件、阈值多高和采集的堆栈深度。一般 default 配置适合持续记录,profile 适合短时间分析;改了配置之后,应在目标负载下实测一次。
10. 面试题卡片
11. 参考资料
- Oracle:GC Tuning Guide
- Oracle:G1 Tuning and Logging
- Oracle:Flight Recorder API Guide
- Oracle:
java -Xlog - OpenJDK 21:JFR 事件定义
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明