跳到主要内容

生产故障诊断

生产慢请求要从端到端耗时入手,把 JVM、线程、数据库和网络的证据放到同一条时间线上。CPU 低不代表请求处理得快,请求也可能一直在等线程、连接、锁或下游响应。

排查的重点是用观测决定下一步:先确定哪里变慢,再找到等待关系,最后验证修复是否消除了原来的症状。

1. 面试核心​

先记住这几条,再读正文
  • 端到端耗时包含排队、应用执行和下游等待,只看服务处理时间可能漏掉前后的等待。
  • CPU 较低时,连接池、锁和网络等待仍能抬高 P99,还要核对单核热点和容器配额。卡 · 综合题
  • RUNNABLE 线程也可能等待 native I/O,线程状态名不能证明它正在消耗 CPU。
  • JDK 21 虚拟线程在 synchronized 内阻塞时会 pin 住载体线程,可通过 JFR 事件定位对应调用栈。卡 · JDK 诊断命令与版本
  • 重启会同时重置多种状态,因此重启后恢复不能单独证明根因,仍需要现场证据。

2. 时间、范围与变更​

排查先确定故障从什么时候开始、影响哪些请求。按路由、实例、版本和租户缩小范围,并记录错误码、吞吐、延迟分位数以及最老请求已经等待多久。P50 和 P99 分别表示 50% 和 99% 的请求耗时不超过的值,可以帮助区分整体变慢与少数请求拖延。

把发布、配置、流量变化和依赖事件放在同一时间窗口中比较。只有新版本异常,就优先比较版本差异;多个服务同时异常,则检查它们的共同依赖。

止血时也要保留现场。在开销可控的前提下,摘除实例前采集线程栈和 Java Flight Recorder(JFR,记录 JVM 运行事件的工具)数据,同时保存数据库等待关系,避免重启后证据消失。

3. 端到端耗时​

端到端耗时需要由客户端、网关和服务端一起对照。调用追踪(Trace)只能展示已经埋点的阶段,缺失的排队或等待还需要其他指标补充。

例如服务处理只用 20 ms,网关却记录了 2 s。多出的时间可能花在建连、连接池等待或重试上,要逐段确认,不能把差值都归因于网络。

CPU 指标也要看清统计范围。实例平均值较低时,仍可能有单核热点,或者受到容器 CPU 配额限制。排除这些情况后,再沿等待路径继续查。

4. JVM 证据​

JVM 事件只有与慢请求发生在同一时段,才有助于解释这次故障。先核对 GC 暂停与请求延迟是否重叠;若回收后的堆占用基线持续上升,再继续检查哪些对象被保留下来。

进程 RSS,也就是驻留在物理内存中的进程内存,还包含 native memory、线程栈等内容。因此,Java 堆还有空间时,容器仍可能因总内存超限而被标记为 OOMKilled。

JFR 可以关联对象分配、锁等待、Socket、文件 I/O 和执行采样。堆转储需要先评估停顿和磁盘空间,类直方图也有采集开销,不能因为是诊断命令就默认它对线上没有影响。

5. 线程栈​

连续采集线程栈,比单张快照更有助于判断线程是否长期停在同一位置。结合池指标,可以区分几种情况:

  • 大量线程处于 BLOCKED,说明它们在竞争进入对象监视器,需要继续找持有锁的线程。
  • 工作线程都忙,队列仍持续增长,说明任务处理速度跟不上到达速度。
  • 线程等待 JDBC 连接时,要同时看连接池等待数(pending)和事务时长。
  • 线程处于 RUNNABLE 时,还要结合 CPU 采样,判断它是在执行计算还是等待 native I/O。

线程名称要能对应到具体线程池,否则很难把栈和指标联系起来。使用虚拟线程时,还要区分 JDK 版本,并继续观察连接等底层资源的等待。

6. 数据库​

数据库排查要连接应用侧和数据库侧的证据。应用侧看连接池等待、事务时长和 SQL 次数,数据库侧看锁等待、执行计划和实际扫描行数。

同样的 SQL 变慢,可能与统计信息变化、长事务有关;单次查询不慢,但调用次数增长,也会拉长请求。存在索引也不能排除扫描量问题,因为查询范围过大时仍要读取大量数据。

MySQL 8.0 的 EXPLAIN ANALYZE 会实际执行查询,因此对生产重查询使用它之前,要先评估影响。锁等待的具体诊断方法见 InnoDB 锁。

7. 网络​

网络耗时要分阶段看,包括 DNS、TCP 建连、TLS 握手和首字节等待,再用连接 reset、重传和代理日志补充判断。

地址变化后,已有长连接仍可能访问原地址;连接被断开时,还要核对负载均衡与 NAT 的空闲超时。TCP 状态的含义见 TCP 连接。

HTTP/2 的多个 stream 共享 TCP 连接,这条连接丢包并等待重传时,会影响其交付进度。另一方面,请求如果排在客户端,服务端还没收到它,服务端指标自然解释不了这段慢耗时。

8. 跨层证据​

跨层证据要能连成具体的等待关系。比如数据库锁等待增长,相关查询迟迟不结束,连接被持续占用,随后 JDBC pending 上升。若线程栈也持续停在这些查询上,就有了继续追查锁阻塞的依据。

同时发生只能提示可能有关,还需要通过阻塞关系或受控干预验证。每次改变一个主要变量,并保留对照,才能判断是哪项措施改善了问题。

修复后,在相近负载下比较原来的服务质量指标(SLI,如成功率和延迟)。同时确认等待指标与业务结果恢复,避免只看到 CPU 降低就认为故障已经解决。

9. 取证准备​

诊断权限、GC 日志和证据保存路径要提前准备。仪表盘关联服务版本、线程池、SQL 和网络阶段,故障发生时才能按同一时间窗口查询。

操作手册(Runbook)还要写明采集开销和需要联系的负责人。故障结束后,把这次有效的证据转成指标或回归检查,让相同问题更早暴露。

10. JDK 诊断命令与版本​

以下命令适用于具备诊断权限的 JDK 21 进程。将 1234 替换为目标 PID,输出文件使用可写路径:

jcmd 1234 Thread.print -l
jcmd 1234 JFR.start name=incident settings=profile duration=60s filename=incident.jfr
jcmd 1234 VM.native_memory summary

Thread.print 提供平台线程栈与锁信息,虚拟线程可以另用 jcmd 1234 Thread.dump_to_file -format=json threads.json。JFR 的 profile 配置比 default 采集更多信息,开销也更高。

本地内存跟踪(NMT)要在 JVM 启动时通过 -XX:NativeMemoryTracking=summary 启用,之后才能用上述命令查询。它统计 JVM 内部的 native 分配,并不是进程 RSS 的完整清单。

pinning 是虚拟线程无法从载体平台线程卸载的情况。JDK 21 中,虚拟线程在 synchronized 内阻塞会占住载体线程,native 调用也可能造成 pinning。可以通过 JFR 的 jdk.VirtualThreadPinned 事件定位相关调用栈,再评估是否将长时间阻塞的同步代码改用 ReentrantLock。

11. 常见问题​

11.1 CPU 很低,为什么 P99 仍然很高?​

因为请求等待资源时,不一定消耗很多 CPU。先核对单核热点与容器配额,再结合线程池队列、JDBC pending 和 Trace 判断时间花在哪里。平均 CPU 使用率只能反映计算占用,不能代替请求耗时。

11.2 重启后恢复,能说明根因已经找到了吗?​

12. 面试题卡片​

先想答案,再翻面先在心里答一遍,再点开卡片对照参考回答。卡片之间可以左右切换,看完会回到这里。
逐张翻看 2 张 →
未标记的卡读完后明天进入复习;已标记的按状态安排

13. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明