跳到主要内容
约 10 分钟3 张卡

CPU 使用率

CPU 使用率表示进程消耗处理器时间的程度。Java 服务 CPU 飙高时,排查的主线是从大到小逐层缩小范围:先确认 CPU 是否真的限制了服务能力,再找到持续消耗 CPU 的线程,最后用调用栈和采样把它对应到具体代码。

容器的配额和 CPU 消耗的来源,会直接影响后续判断:主机有空闲核,容器仍可能因为用完配额而被节流;业务线程之外,GC、JIT 编译和本地代码也会消耗 CPU。面试中给出排查步骤时,要说明每一步拿到的证据能排除什么、还不能确定什么。

1. 面试核心​

先记住这几条,再读正文
  • cgroup v2 的 cpu.max 规定了每个周期可用的 CPU 时间,容器用完自己的配额就会被节流,和主机还有没有空闲核无关。卡 · 容器配额与节流
  • 在同一个 PID 命名空间里,Linux 平台线程的 TID 就是线程转储里的 nid:Java 21 直接用十进制输出,Java 17 输出十六进制,要先把 TID 转换一下。卡 · CPU 饱和程度
  • CPU profile 通过一段时间内的采样占比,估计各条调用路径消耗 CPU 的比例,比单份线程栈更能反映累计的计算量。卡 · 多份线程栈
  • Java 的 RUNNABLE 状态既包括真正在计算,也包括部分 native I/O,判断是否在消耗 CPU 还要看线程的 CPU 时间。

2. CPU 饱和程度​

排查的第一步,是确认 CPU 是否已经限制了服务的处理能力。使用率高本身不一定说明有故障,要结合吞吐、延迟和剩余容量判断。先对齐故障时间,再检查:

  • 问题出在单个实例,还是整个集群。
  • CPU 升高前后的吞吐和延迟,看处理能力是否已经受限。
  • 同一时间的流量变化、发布和定时任务,找计算量变化的来源。
  • user、system 和 iowait 各占多少。user 是用户态执行时间,system 是内核态执行时间,iowait 是 CPU 空闲、同时有 I/O 尚未完成的时间。
  • 在容器里,比较 CPU 使用量和配额,并检查 throttling,也就是配额用完后的节流。

注意百分比的口径。按单核计数时,100% 表示占满了一个逻辑核。对只有 1 个 CPU 配额的容器,这已经用完了全部带宽;对一台多核主机,则还远没有饱和,要结合核数和运行队列判断。

2.1 容器配额与节流​

容器受自己的 CPU 配额限制,配额用完就会被节流,即使主机上还有空闲的核。Linux 用 cgroup 把进程分组并限制资源,cgroup v2 的 cpu.max 文件依次记录配额和周期,单位都是微秒:

200000 100000

这表示每 100ms 最多使用 200ms 的 CPU 时间,平均相当于 2 个 CPU 的带宽。假设周期开始时,8 个线程分别在 8 个逻辑核上持续运行,且不考虑调度等额外影响,约 25ms 就能用完配额。之后要等下一个周期补充配额才能继续。请求如果落在等待期间,就可能多出几十毫秒的延迟。

要判断节流是否影响了延迟,在目标 cgroup 目录里读 cpu.stat,比较故障期间两个计数的增量:nr_throttled 是发生节流的次数,throttled_usec 是被节流的总时间。把增量与请求长尾对齐,确认延迟升高时是否也发生了节流,再通过调整负载或配额验证影响。

配额不足以支撑当前计算量时,要减少每请求的计算量,或者评估扩容。单纯增加业务线程不会增加可用的 CPU 时间;并行度提高后,反而可能更早用完当期配额。

3. 高 CPU 线程​

确认进程 CPU 高之后,下一步是找出到底是哪些线程在消耗 CPU。Linux 平台线程可以这样连续观察:

top -H -p <pid>
pidstat -t -p <pid> 1

记下持续高 CPU 的线程 ID(TID)。要看持续多次的结果,不要只凭某一次的瞬时排序下结论。然后采集线程转储:

jcmd <pid> Thread.print -l > threads.txt

转储里每个平台线程的 nid 就是它的 TID,但不同版本的写法不同。Java 21 直接写十进制,线程名后面的方括号里也是同一个值:top -H 显示 TID 是 12345,就在转储里找 nid=12345。Java 17 写的是十六进制,要先用 printf '%x\n' 12345 转成 3039,再找 nid=0x3039。

匹配时有两个前提。TID 和转储要来自同一个 PID 命名空间,也就是用的是同一套进程和线程编号;容器内外看到的编号可能不同。两者的采集时间也要接近,否则线程可能已经退出、ID 被别的线程复用,匹配到错误的线程。

Java 21 的虚拟线程是例外。虚拟线程挂在载体线程上执行,还会在不同的载体之间切换,所以一个 OS TID 并不固定对应某个虚拟线程。这时要借助支持虚拟线程的 JFR 和分析工具,继续定位到具体任务。

4. 多份线程栈​

一份线程栈只能告诉你线程在采集那一刻执行到了哪里。间隔 3 到 10 秒连续采几份,可以找出反复出现的调用路径,再结合线程 CPU 时间判断是否在持续计算。重点观察:

  • 同一个高 CPU 线程是否反复停在某个业务循环或正则匹配里。
  • 调用栈虽然在变化,但一直集中在同一个算法或调用树里。
  • 热点是否属于 GC Worker、CompilerThread 或 VM Thread,它们分别负责垃圾回收、JIT 编译和 JVM 内部工作。
  • 是否有大量可运行线程,同时伴随频繁的上下文切换。

相同的栈帧反复出现,是死循环或重复计算的线索。但栈一直在变也可能在持续消耗 CPU,比如在处理一个很大的集合,这时就需要用一段时间的采样统计占比,也就是下一节的 CPU profile。分析时把业务线程、GC 线程和编译线程分开看,并对照每个线程在 OS 层面的 CPU 时间。

5. CPU profile​

CPU profile 在一段时间内反复采样正在执行的调用栈,用各条调用路径出现的次数,估计 CPU 时间花在了哪里。线程栈里看不出明显的循环时,可以用 async-profiler 采样 30 秒:

asprof -e cpu -d 30 -f cpu.html <pid>

输出的火焰图按调用关系展示样本,宽度代表采样占比。最上面的叶子是采样时正在执行的位置,下面的父节点包含了它所有子调用的成本。从宽的叶子沿调用路径往下找,就能把热点对应到某个请求、消息或定时任务的入口。

找到热点后,可以按调用内容继续分析,例如:

  • 序列化、压缩、加密和大集合排序这类计算。
  • 没有终止条件的循环,或指数级算法造成的重复工作。
  • 正则表达式反复尝试匹配,产生灾难性回溯。
  • 大量构造异常和填充异常堆栈。
  • 锁竞争下的自旋和高频 CAS 重试。
  • JNI 本地调用或内核系统调用。

要注意,火焰图的宽度不代表单次调用的耗时。一个很快、但被调用了几百万次的方法,同样会占据很宽的区域。

6. GC 与分配​

GC 线程的 CPU 高,说明处理器时间花在了回收上,但这只是现象,还要查清回收工作为什么变多了。先看分配率、存活对象量和堆配置,再用统计数据和 JFR 关联变化:

jstat -gcutil <pid> 1000
jcmd <pid> JFR.start name=cpu settings=profile duration=60s filename=cpu.jfr

分配率是单位时间内新建对象的总量。分配越快,可用空间消耗得越快,回收就越频繁。live set 是回收后仍然存活的对象总量。如果某处缓存无界增长、一直持有对象,live set 就会持续变大,复制、标记的工作量和空间压力都会跟着增加。

对照 GC 日志时,看回收频率、GC CPU、回收后的堆占用和分配停滞。如果压力来自大量临时对象或无界保留,应该先修这些来源,而不是先去调 GC 线程数。各阶段的诊断方法见GC 停顿分析。

7. JIT、类加载与 native 时间​

CPU 还会花在 JVM 自身和本地代码上。发布之后,JVM 要加载类,JIT 要把热点字节码编译成机器码,所以预热期间 CPU 升高是正常的。可以对照 JFR 的 Compilation、Class Load 事件,以及 jcmd <pid> Compiler.queue 显示的编译队列,确认是否处在这个阶段。

system CPU 高说明内核态工作较多,要继续检查:

  • 线程创建和上下文切换是否频繁。
  • 网络或文件系统调用是否密集。
  • 是否有大量缺页和内存压力。缺页是指访问的页面还没有建立映射或不在内存里,需要内核额外处理。

native 库或诊断 agent 也可能消耗大量 CPU,但本地代码不等于内核代码,不能只根据 system CPU 判断。Java 栈上的一个 native 方法背后,可能还有很多本地函数调用。用 async-profiler 采集 native 和内核栈,或者用系统的 perf,可以继续展开这些路径。能不能采集和解析,取决于平台权限和是否有可用的符号。

8. 修复验证​

修复要证明同样的业务负载消耗了更少的资源,而且服务质量没有变差。修复前后要用相近的流量和请求分布,比较:

  • 每请求 CPU 或每秒累计的 CPU 时间是否下降。
  • 吞吐、P99、超时率和错误率是否改善。P99 是 99% 的请求都不超过的响应时间。
  • 分配率和 GC CPU 有没有变化。
  • 线程数、上下文切换和 throttling 是否下降。
  • 热点调用树的占比是否符合预期。

如果是靠加缓存减少计算,还要验证内存容量和数据一致性。CPU 降了,延迟或内存占用却明显上升,就要重新评估这次修改的代价。

9. 常见问题​

9.1 Load Average 高就说明 CPU 饱和了吗?​

不能直接这样判断。Linux 的 Load Average 统计的是可运行的任务和处于不可中断等待的任务,所以 I/O 等待也会让它升高。判断 CPU 是否饱和,要结合 CPU 使用率、运行队列、iowait 和具体线程一起看。

9.2 线程很多就一定会消耗大量 CPU 吗?​

9.3 RUNNABLE 线程一定在消耗 CPU 吗?​

10. 面试题卡片​

11. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明