JVM 诊断
JVM 诊断是用运行时数据定位进程里的性能和稳定性问题。不同证据回答的问题不同:线程转储记录线程此刻在哪、在等什么,堆转储展示对象由谁持有,JFR 和 GC 日志记录一段时间里发生的事件,profiler 通过采样统计热点路径。
选工具之前,要先明确当前缺少哪一类证据,以及采集会增加多少负担。把同一实例、同一时间窗口中的指标、事件和调用栈联系起来,才能从「某个指标异常」继续追到具体原因。
1. 面试核心
先记住这几条,再读正文- 线程转储记录线程某一时刻的执行位置和等待状态;堆转储记录对象之间的引用关系。卡 · 故障时间线
- GC 日志记录回收的时间线,JFR 则把 CPU、分配、锁、编译等运行事件放到同一条时间轴上。
- 间隔几秒连续采集 3 到 5 份线程转储,可以发现反复出现的调用路径;判断是否持续卡住,还要结合 CPU、等待和请求数据。卡 · 快照与时间序列
- JDK 21 的
GC.heap_dump默认会请求一次 Full GC;加-all只省掉这次回收请求,仍然要遍历整个堆并写文件。卡 · 堆转储与显式回收
2. 故障时间线
动手采集之前,先写清楚用户遇到了什么问题、从什么时候开始。没有这条时间线,就无法判断采到的等待、大对象或 GC 和故障有没有关系。需要记录:
- 用户看到的是报错、超时、吞吐下降,还是进程退出。
- 故障第一次出现和恢复的时间。
- 受影响的实例、接口和请求范围。
- 同一时期的发布版本、扩容、流量变化和下游异常。
- CPU、RSS、堆、线程数、GC 和容器限制的变化。RSS 是进程实际驻留在物理内存里的大小。
这些证据要能对应到同一个实例、同一个时间窗口。比如线程转储里有一批线程在等待:线程池中的空闲线程等任务是正常状态,故障期间的请求线程都堵在同一个下游调用上则值得继续追查。线程身份、请求状态和时间窗口一起决定了怎样解释这份栈。
3. jcmd
jcmd 是向运行中的 HotSpot JVM 发送诊断命令的工具。拿到一个进程,先看目标 JVM 支持哪些命令,再记录版本、启动命令和实际生效的参数:
jcmd -l
jcmd <pid> help
jcmd <pid> VM.version
jcmd <pid> VM.command_line
jcmd <pid> VM.flags
可用的命令由 JDK 版本和实现决定,所以先执行 help;采集工具的版本也要和目标 JDK 匹配。需要系统属性时可以用 jcmd <pid> VM.system_properties,记录之前要去掉里面的敏感配置。
Attach 机制允许外部工具连接正在运行的 JVM,jcmd 就通过它发送命令。这要求工具和目标进程在同一台机器上,并且使用相同的有效用户和组。连不上时,还要检查容器的 PID 命名空间是否一致,以及进程是否设置了 -XX:+DisableAttachMechanism,这个选项会关闭 Attach。
4. 症状与首选证据
选工具要看你当前想回答什么问题。下表把常见症状和首选证据对应起来:先用首选证据缩小范围,再按需补充后续证据。
| 症状 | 首选证据 | 后续证据 |
|---|---|---|
| CPU 高 | OS 线程 CPU 与 CPU profile。 | GC、JIT 和线程栈。 |
| 请求卡住 | 多份线程栈与 wall-clock profile。 | 锁、队列与下游指标。 |
| 堆增长 | GC 后 live set 与类直方图。 | 堆转储中的保留关系。 |
| RSS 高、堆稳定 | NMT、BufferPool 与线程数。 | smaps 与 native profiler。 |
| GC 停顿 | GC 日志与 JFR。 | 分配样本和对象图。 |
| 进程崩溃 | hs_err_pid 与系统退出记录。 | core dump 与本地符号。 |
| 类冲突 | 类加载日志与实际来源。 | 依赖树与加载器统计。 |
表里有几个名词需要说明:
- live set 是 GC 之后仍然存活的对象总量;类直方图按类统计实例数量和占用。
- NMT(Native Memory Tracking)是 HotSpot 的本地内存跟踪功能,BufferPool 提供直接缓冲区等缓冲池的统计,
smaps显示 Linux 进程的内存映射,三者都用来分析堆外的增长。 hs_err_pid是 JVM 发生致命错误时写下的报告;core dump 保存崩溃那一刻的进程内存;本地符号用来把机器码地址对应回函数名。
5. 快照与时间序列
快照记录的是一个时刻,时间序列记录的是一段时间里的变化,两者能证明的东西不同。
一份线程转储只能说明采集那一瞬间线程在哪里。间隔几秒连续采 3 到 5 份,同一个线程反复出现在同一个锁或同一段 I/O 上,是持续等待的线索,但也可能是它反复执行了同一种操作。调用栈一直变化,也不代表请求一定有进展,线程可能在重复计算。要继续对照线程 CPU 时间、请求完成情况和采样结果。
堆转储也一样。一份堆转储展示的是某一刻的引用图,单凭它很难证明某类对象在持续增长。先用 GC 日志、JFR 或连续的类直方图确认增长趋势,再用引用图找出是谁持有了这些对象。
6. JFR
JFR(Java Flight Recorder)是 JVM 内置的事件记录工具。它把各种运行事件记在同一条时间轴上,于是可以直接看出一次延迟尖刺是不是和 GC、锁等待或 JIT 编译同时发生。故障期间可以用 profile 配置做一次短时记录:
jcmd <pid> JFR.start name=incident settings=profile duration=2m filename=/logs/incident.jfr
JFR 能记录 CPU 样本、线程、分配、锁、GC、类加载、编译和 I/O 等事件。profile 配置开启的事件更多,default 配置开销更低,适合长期开着;实际开销取决于启用了哪些事件和阈值。
故障发生之后才开始记录,往往已经错过了故障前的变化。所以更好的做法是提前开着持续记录,用最大保留时长和大小限制滚动范围,需要时再导出:
jcmd <pid> JFR.start name=continuous settings=default maxage=30m maxsize=256m
jcmd <pid> JFR.dump name=continuous filename=/logs/incident.jfr
第一条命令最多保留最近 30 分钟、256 MB 的记录。第二条命令导出已有的事件,持续记录本身继续运行。注意文件是由目标 JVM 写的,所以路径要在目标进程里可以访问,并且有写权限和足够的空间。
怎样用 JFR 关联 GC 停顿,见GC 停顿分析。
7. async-profiler
async-profiler 通过采样统计各条调用路径的占比。分析 CPU 消耗和分析请求耗时,要选不同的采样方式:
asprof -e cpu -d 30 -f cpu.html <pid>
asprof -e wall -d 30 -f wall.html <pid>
CPU profile 只采样正在 CPU 上执行的路径,适合找计算热点。wall-clock profile 按实际经过的时间采样,正在运行、阻塞和睡眠的线程都会被采到,所以更适合分析锁、I/O 这类等待造成的延迟。一个请求慢在等下游,CPU profile 里几乎看不到它,wall-clock profile 里却很明显。
async-profiler 还支持分配、锁等事件,在 HotSpot 上能同时展示 Java、本地代码和部分内核的调用栈。要记住它给出的是统计分布,不是每次调用的完整追踪。解释结果时,要考虑采样频率、持续时间,以及平台权限和符号是否完整。
8. 采集动作的影响
诊断动作本身会消耗资源,所以要先想清楚缺什么证据,再决定怎么采。一般按下面的顺序,逐步扩大采集范围:
- 先读已有的日志、指标和启动参数,确认故障范围。
- 用普通线程转储、短时 JFR 或采样 profile 补充调用路径和时间上的变化。
- 需要统计对象数量时,用类直方图,并评估遍历堆带来的影响。
- 确实需要完整引用关系或崩溃现场时,才采 heap dump 或 core dump,并预留足够的磁盘空间。
这是一种逐步补充证据的顺序,具体开销还要看堆大小、线程数、磁盘速度和 JVM 当时的状态。执行前可以先查命令的影响等级:
jcmd <pid> help GC.class_histogram
jcmd <pid> help GC.heap_dump
JDK 21 把这两条命令标为 High impact,也就是高影响操作。执行前要确认能接受多长的停顿、磁盘空间够不够,并提前约定好出现问题时是停止采集还是切走流量。完整转储会产生大量 I/O,进程资源本来就紧张时,还会进一步加重负担。
8.1 堆转储与显式回收
堆转储的选项决定了转储之前要不要先回收,以及文件里包含哪些对象。JDK 21 的 GC.heap_dump 默认会请求一次 Full GC,也就是对整个堆发起回收,所以文件里只有存活对象。加上 -all 后,会省掉这次回收请求,并把不可达的对象也写进去:
jcmd <pid> GC.heap_dump /logs/live.hprof
jcmd <pid> GC.heap_dump -all /logs/all.hprof
两种方式按分析目标选一种执行即可。-all 并不意味着没有停顿:它仍然要遍历堆、写出文件。
用 -all 采集的文件里,有一部分是已经不可达、只是还没来得及回收的对象。所以分析时要记下采集选项,把仍被持有的对象和等待回收的对象分开,否则会把还没回收的占用误判成泄漏。
9. 证据的环境信息
给每份诊断文件附上环境和采集信息,可以避免把不同实例、不同发布版本的证据混在一起:
- 采集时间和时区,以及进程的 uptime(已运行时长)。
- 主机、容器、Pod 和实例标识。
- 完整的 JDK 版本、启动命令和实际生效的 flags。
- 发布版本或 commit。
- 采集命令、持续时间和文件校验值。
- 对应监控图的时间区间,以及当时的流量和负载。
有了这些信息,线程栈、GC 日志和性能样本才能互相印证,修复之后也方便复现相近的负载做对比。
10. 常见问题
10.1 有了 jcmd,还能用 jstack、jmap 和 jinfo 吗?
jstack、jmap 和 jinfo 在目标 JDK 支持时仍然可以用。在 HotSpot 上,可以优先通过 jcmd 查询对应的命令和它的影响,再确认工具版本和 Attach 权限。
10.2 在线诊断工具能替代 JFR 和堆转储吗?
不能完全替代,它们提供的证据不同。Arthas 这类在线诊断工具适合查看具体的方法调用、类和线程;JFR 提供一段时间内的事件;堆转储提供完整的对象引用图。需要什么证据,就组合使用对应的工具。
10.3 为什么不一出现故障就采完整堆转储?
故障进程本来就资源紧张,遍历堆和写大文件会让情况更糟。完整转储可能造成长时间停顿或写满磁盘,额外的内存压力还可能触发容器的 OOM Kill,让现场直接消失。所以先用已有的指标和事件缩小范围,再决定是否真的需要完整转储。
11. 面试题卡片
12. 参考资料
- Oracle:Diagnostic Tools
- Oracle:
jcmd - Oracle:Flight Recorder API Guide
- async-profiler
- async-profiler:Profiling Modes
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明