生产故障诊断
生产慢请求要从端到端耗时入手,把 JVM、线程、数据库和网络的证据放到同一条时间线上。CPU 低不代表请求处理得快,请求也可能一直在等线程、连接、锁或下游响应。
排查的重点是用观测决定下一步:先确定哪里变慢,再找到等待关系,最后验证修复是否消除了原来的症状。
1. 面试核心
先记住这几条,再读正文- 端到端耗时包含排队、应用执行和下游等待,只看服务处理时间可能漏掉前后的等待。
- CPU 较低时,连接池、锁和网络等待仍能抬高 P99,还要核对单核热点和容器配额。卡 · 综合题
RUNNABLE线程也可能等待 native I/O,线程状态名不能证明它正在消耗 CPU。- JDK 21 虚拟线程在
synchronized内阻塞时会 pin 住载体线程,可通过 JFR 事件定位对应调用栈。卡 · JDK 诊断命令与版本 - 重启会同时重置多种状态,因此重启后恢复不能单独证明根因,仍需要现场证据。
2. 时间、范围与变更
排查先确定故障从什么时候开始、影响哪些请求。按路由、实例、版本和租户缩小范围,并记录错误码、吞吐、延迟分位数以及最老请求已经等待多久。P50 和 P99 分别表示 50% 和 99% 的请求耗时不超过的值,可以帮助区分整体变慢与少数请求拖延。
把发布、配置、流量变化和依赖事件放在同一时间窗口中比较。只有新版本异常,就优先比较版本差异;多个服务同时异常,则检查它们的共同依赖。
止血时也要保留现场。在开销可控的前提下,摘除实例前采集线程栈和 Java Flight Recorder(JFR,记录 JVM 运行事件的工具)数据,同时保存数据库等待关系,避免重启后证据消失。
3. 端到端耗时
端到端耗时需要由客户端、网关和服务端一起对照。调用追踪(Trace)只能展示已经埋点的阶段,缺失的排队或等待还需要其他指标补充。
例如服务处理只用 20 ms,网关却记录了 2 s。多出的时间可能花在建连、连接池等待或重试上,要逐段确认,不能把差值都归因于网络。
CPU 指标也要看清统计范围。实例平均值较低时,仍可能有单核热点,或者受到容器 CPU 配额限制。排除这些情况后,再沿等待路径继续查。
4. JVM 证据
JVM 事件只有与慢请求发生在同一时段,才有助于解释这次故障。先核对 GC 暂停与请求延迟是否重叠;若回收后的堆占用基线持续上升,再继续检查哪些对象被保留下来。
进程 RSS,也就是驻留在物理内存中的进程内存,还包含 native memory、线程栈等内容。因此,Java 堆还有空间时,容器仍可能因总内存超限而被标记为 OOMKilled。
JFR 可以关联对象分配、锁等待、Socket、文件 I/O 和执行采样。堆转储需要先评估停顿和磁盘空间,类直方图也有采集开销,不能因为是诊断命令就默认它对线上没有影响。
5. 线程栈
连续采集线程栈,比单张快照更有助于判断线程是否长期停在同一位置。结合池指标,可以区分几种情况:
- 大量线程处于
BLOCKED,说明它们在竞争进入对象监视器,需要继续找持有锁的线程。 - 工作线程都忙,队列仍持续增长,说明任务处理速度跟不上到达速度。
- 线程等待 JDBC 连接时,要同时看连接池等待数(pending)和事务时长。
- 线程处于
RUNNABLE时,还要结合 CPU 采样,判断它是在执行计算还是等待 native I/O。
线程名称要能对应到具体线程池,否则很难把栈和指标联系起来。使用虚拟线程时,还要区分 JDK 版本,并继续观察连接等底层资源的等待。
6. 数据库
数据库排查要连接应用侧和数据库侧的证据。应用侧看连接池等待、事务时长和 SQL 次数,数据库侧看锁等待、执行计划和实际扫描行数。
同样的 SQL 变慢,可能与统计信息变化、长事务有关;单次查询不慢,但调用次数增长,也会拉长请求。存在索引也不能排除扫描量问题,因为查询范围过大时仍要读取大量数据。
MySQL 8.0 的 EXPLAIN ANALYZE 会实际执行查询,因此对生产重查询使用它之前,要先评估影响。锁等待的具体诊断方法见 InnoDB 锁。
7. 网络
网络耗时要分阶段看,包括 DNS、TCP 建连、TLS 握手和首字节等待,再用连接 reset、重传和代理日志补充判断。
地址变化后,已有长连接仍可能访问原地址;连接被断开时,还要核对负载均衡与 NAT 的空闲超时。TCP 状态的含义见 TCP 连接。
HTTP/2 的多个 stream 共享 TCP 连接,这条连接丢包并等待重传时,会影响其交付进度。另一方面,请求如果排在客户端,服务端还没收到它,服务端指标自然解释不了这段慢耗时。
8. 跨层证据
跨层证据要能连成具体的等待关系。比如数据库锁等待增长,相关查询迟迟不结束,连接被持续占用,随后 JDBC pending 上升。若线程栈也持续停在这些查询上,就有了继续追查锁阻塞的依据。
同时发生只能提示可能有关,还需要通过阻塞关系或受控干预验证。每次改变一个主要变量,并保留对照,才能判断是哪项措施改善了问题。
修复后,在相近负载下比较原来的服务质量指标(SLI,如成功率和延迟)。同时确认等待指标与业务结果恢复,避免只看到 CPU 降低就认为故障已经解决。
9. 取证准备
诊断权限、GC 日志和证据保存路径要提前准备。仪表盘关联服务版本、线程池、SQL 和网络阶段,故障发生时才能按同一时间窗口查询。
操作手册(Runbook)还要写明采集开销和需要联系的负责人。故障结束后,把这次有效的证据转成指标或回归检查,让相同问题更早暴露。
10. JDK 诊断命令与版本
以下命令适用于具备诊断权限的 JDK 21 进程。将 1234 替换为目标 PID,输出文件使用可写路径:
jcmd 1234 Thread.print -l
jcmd 1234 JFR.start name=incident settings=profile duration=60s filename=incident.jfr
jcmd 1234 VM.native_memory summary
Thread.print 提供平台线程栈与锁信息,虚拟线程可以另用 jcmd 1234 Thread.dump_to_file -format=json threads.json。JFR 的 profile 配置比 default 采集更多信息,开销也更高。
本地内存跟踪(NMT)要在 JVM 启动时通过 -XX:NativeMemoryTracking=summary 启用,之后才能用上述命令查询。它统计 JVM 内部的 native 分配,并不是进程 RSS 的完整清单。
pinning 是虚拟线程无法从载体平台线程卸载的情况。JDK 21 中,虚拟线程在 synchronized 内阻塞会占住载体线程,native 调用也可能造成 pinning。可以通过 JFR 的 jdk.VirtualThreadPinned 事件定位相关调用栈,再评估是否将长时间阻塞的同步代码改用 ReentrantLock。
11. 常见问题
11.1 CPU 很低,为什么 P99 仍然很高?
因为请求等待资源时,不一定消耗很多 CPU。先核对单核热点与容器配额,再结合线程池队列、JDBC pending 和 Trace 判断时间花在哪里。平均 CPU 使用率只能反映计算占用,不能代替请求耗时。
11.2 重启后恢复,能说明根因已经找到了吗?
不能。重启会同时重置线程、连接、缓存和本地状态,恢复只能说明其中某项变化改善了症状。要判断根因,仍需结合重启前的证据和复现结果。
12. 面试题卡片
13. 参考资料
- Oracle JDK 21:Flight Recorder API
- MySQL 8.0:EXPLAIN ANALYZE
- OpenTelemetry:Traces
- Google SRE:Monitoring Distributed Systems
- Oracle JDK 21:jcmd
- Oracle JDK 21:Virtual Threads
- Oracle JDK 21:Native Memory Tracking
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明