JMH
JMH(Java Microbenchmark Harness)是 OpenJDK 提供的微基准测试工具,用来测量一小段 Java 代码的耗时、吞吐量,并配合分析工具观察内存分配等成本。
测量 JVM 上的一小段代码,需要考虑即时编译器(JIT)的优化:结果没人用的计算可能被删除,常量可能提前算好,循环也可能被改写。只用循环和 System.nanoTime() 计时,未必测到了预期的工作;启动阶段还会混入类加载和编译成本。JMH 提供预热、进程隔离和统计支持,但输入状态、结果的使用方式和测量范围仍要由我们决定。
1. 面试核心
先记住这几条,再读正文- JMH 用预热让类加载和编译稳定下来,用独立的 fork 进程隔离状态,并通过消费结果防止被测计算被优化掉。卡 · 测量模式
- 基准方法返回结果或交给
Blackhole,JIT 就不会因为结果没人用而删掉被测计算。 - 把可变输入放进
@State对象,可以减少常量折叠对测试的干扰。 Scope.Thread给每个测试线程一份独立状态,Scope.Benchmark让所有测试线程共享状态。- 每个 fork 都启动一个新的 JVM,隔离之前测试留下的编译画像和静态状态。卡 · 预热与 fork
2. 测量模式
动手之前先想清楚你要比较的是什么:吞吐量、平均耗时,还是耗时分布。JMH 有四种模式,分别回答不同的问题:
| 模式 | 测量对象 |
|---|---|
Throughput | 单位时间操作数 |
AverageTime | 每次操作平均耗时 |
SampleTime | 采样得到的耗时分布 |
SingleShotTime | 一次方法调用或指定批次的耗时 |
@BenchmarkMode(Mode.AverageTime)
@OutputTimeUnit(TimeUnit.NANOSECONDS)
public class ParserBenchmark {
// 基准方法使用 @Benchmark 标记。
}
这个配置以纳秒为单位,报告每次操作的平均耗时。纳秒只是输出单位,实际能测多准,还受计时器精度和样本量限制。
一个结果靠不靠得住,要同时看统计数据和实验环境:
- 保留每轮迭代和每个 fork 的结果,看波动是否稳定。fork 是 JMH 为运行基准单独启动的 JVM 进程,第 5 节会讲它的作用。
- 记录误差和置信区间,判断样本量是否足以支撑你看到的差异。
- 记录 JDK 版本、启动参数和硬件信息,让实验能被复现。
3. 死代码消除
计算结果如果没人用,而且这段计算没有可观察的副作用,JIT 就可以把它整个删掉,这叫死代码消除。在基准里,它会让你测到的工作量比预期少,甚至什么都没测到。把错误写法和正确写法放在一起看:
@Benchmark
public void wrong() {
Math.sqrt(123.0);
}
@State(Scope.Thread)
public static class Input {
public double value = 123.0;
}
@Benchmark
public double sqrt(Input input) {
return Math.sqrt(input.value);
}
wrong() 把结果丢掉了,JIT 可以省去这次 Math.sqrt,此时测到的耗时就不能代表开平方的成本。sqrt() 从状态对象读取输入并返回结果,JMH 会使用这个返回值,让 JIT 不能仅因为结果未被使用就删除计算。这种对结果的使用,在基准测试中称为结果消费。
有多个结果时,可以分别交给 Blackhole.consume()。Blackhole 是 JMH 提供的结果消费工具,作用就是让 JIT 认为这些结果被用到了,从而保留产生它们的计算。如果方法本身有可观察的副作用,即使没有返回值,相应的工作也会保留。
测纯计算时,日志、断言和 I/O 要放到测量路径之外。它们的耗时会被一起算进去,甚至可能比被测代码本身还长。
4. 常量折叠与 State
返回结果只解决了「结果没人用」的问题,还要防止答案在编译时就被算好。如果把固定的常量直接写进基准方法,JIT 可以在编译时把结果算出来,运行时根本不用计算,这叫常量折叠。上一节 wrong() 里的 Math.sqrt(123.0) 就有这个风险。
办法是用 @State 标记一个状态对象,通过它的字段在运行时提供输入。下面再用 @Param 参数化,让同一个基准比较不同的输入规模:
@State(Scope.Thread)
public static class Input {
@Param({"16", "256", "4096"})
public int size;
public byte[] data;
@Setup(Level.Trial)
public void setup() {
data = new byte[size];
}
}
@Param 会让 size 依次取 16、256、4096,结果里也会标明是哪种规模。@Setup 在指定的时机准备好数组,基准方法再从状态对象读取数据。要注意,如果这些数据仍然能被静态推导出来,JIT 照样能简化计算,所以状态的设计也要贴近真实输入。
@Setup 的参数决定准备工作多久执行一次。表中的 trial 指一轮完整的基准运行,其中可以包含多轮预热和测量迭代:
| Setup 层级 | 执行时机 |
|---|---|
Trial | 每次 trial 开始前,对各状态实例执行 |
Iteration | 每轮预热和测量迭代前 |
Invocation | 每次基准方法调用前 |
Trial 适合在一整轮实验开始前准备可以复用的数据,Iteration 适合每轮迭代前重置状态。Invocation 要为每一次调用单独准备、单独处理计时,本身开销就不小,还会干扰执行流水线。它只适合单次执行足够长的基准,用了之后仍要验证测量受到的干扰。
4.1 可变输入的重置
如果基准会修改输入,就要保证每次调用遇到的都是你想测的那种状态。排序就是典型例子:它会直接改变数组的顺序。假如只在 Trial 开始时生成一个随机数组,第一次调用之后数组就已经有序了,后面测到的全是「对有序数组排序」的成本。
一种做法是每次调用时先复制原数组,再对副本排序。这样复制的成本也算进去了,报告里要写清楚测的是「复制加排序」。另一种做法是用 Invocation 在计时前重置数组,这时要检查逐次计时带来的开销,以及缓存的干扰:准备工作虽然移出了计时区,但它会改变 CPU 缓存里的数据,影响紧接着的那次调用。
5. 预热与 fork
刚启动的 JVM 还在加载类、编译热点代码,这时直接统计,会把这些启动成本混进结果。预热就是先跑若干轮让这些活动稳定下来,预热轮次的结果不计入最终统计。
下面是一组预热、测量和 fork 的配置:
@Warmup(iterations = 5, time = 1)
@Measurement(iterations = 8, time = 1)
@Fork(3)
这组配置会启动 3 个 JVM,每个 JVM 先跑 5 轮预热、再跑 8 轮测量,每轮 1 秒。实际要几轮预热,要看结果从什么时候开始稳定来调整。
每个 fork 都从一个全新的 JVM 开始,之前基准留下的 JIT 画像和静态状态不会带过来,保存机器码的 Code Cache 也会重新建立。这样可以避免先后运行的基准通过 JVM 内部状态相互干扰;CPU 频率、后台负载等进程外因素仍需控制。多个进程的样本还能反映进程之间的波动。
如果你要测的是首次调用的耗时,就用零预热,或者明确指定预热范围。SingleShotTime 测的是一次基准调用或一个批次,不包含 JVM 自身的启动时间。要测完整进程的冷启动,应该在外部计时,把进程启动到业务就绪都包含在测量范围里。
6. 基准方法中的循环
为了摊薄计时开销,在基准方法里手写一个大循环,会改变你在测的程序。比如在一次基准调用里执行 operation(i) 一百万次,再用总耗时除以一百万,得到的是「批量执行时」每次的平均成本。
批量执行的平均成本不能直接代表单独调用一次 operation 的成本。循环给了 JIT 更多优化空间:它可以展开循环、合并计算,或者把多个元素的运算改成向量指令;方法内联、常量传播和 CPU 分支预测的效果也会随之变化。
JMH 本身就会反复调用基准方法,单纯为了凑次数的循环可以去掉。如果业务里确实是批量处理,就保留业务中的批量大小。@OperationsPerInvocation 可以按逻辑操作数换算结果,但它只改变统计单位,循环带来的优化依然存在。
7. State 的 Scope
做并发测试,首先要确定多个线程操作的是不是同一个对象。@State 的 Scope 决定状态由哪些工作线程共享:
Scope.Thread:每个工作线程各有一份独立状态。Scope.Benchmark:所有参与测试的线程共享同一份状态。Scope.Group:同一个线程组内的线程共享状态。
用错 Scope,测到的就不是你想测的东西。想测共享容器上的竞争,应该用 Benchmark 或 Group;误用 Thread 的话,每个线程操作的都是自己的容器,根本没有竞争。反过来,测纯算法时误用了共享的可变状态,又会把锁竞争或伪共享混进结果。伪共享是指不同线程修改的是不同数据,但这些数据恰好在同一个缓存行里,导致 CPU 缓存反复同步。
线程数也要显式配置,比如 @Threads(4)。Scope 只决定对象归谁,并发程度还是由实际的测试线程数决定。
8. Profiler 与测量证据
均值变小只说明观察到了差异,还要能解释差异从哪里来。Profiler 是采集 CPU、内存分配等运行信息的分析工具,JMH 可以在测量时启用它:
java -jar target/benchmarks.jar ParserBenchmark -prof gc
-prof gc 会输出分配和 GC 指标,其中 gc.alloc.rate.norm 表示每次操作分配了多少字节。环境里装了 async-profiler 等工具时,也可以用 -prof async 这类分析方式,具体能用哪些 profiler 取决于安装环境。
解释一个差异,至少要确认四件事:
- CPU 时间主要花在哪些方法上。
- 每次操作分配了多少字节。
- 有没有出现预期之外的锁竞争或 GC。
- 编译结果是否按预期完成了内联和向量化。
然后再比较误差和置信区间。区间有重叠时,需要更多证据才能判断差异是否稳定。CPU 降频、后台任务和容器的 CPU 限流也会改变结果,所以这些环境因素也要一并记录。
9. 微基准与系统压测
微基准适合比较解析器、集合操作、序列化这类小块的 CPU 和内存代码。但真实服务还有微基准覆盖不到的成本:
- 网络和数据库访问带来的等待。
- 线程池和请求排队对延迟分布的改变。
- 缓存命中率对实际执行路径的影响。
所以做局部优化之前,先确认测试输入的分布有代表性,并估算这个热点在总耗时里占多少。被优化的代码原本只占总耗时的一小部分时,整体收益最多也就那么一点。用 JMH 确认每次操作的成本确实降低之后,再用服务负载检查吞吐、长尾延迟(少数特别慢的请求的耗时)和资源占用。
只有业务指标也改善了,才能说明局部收益传到了服务层面。还要检查成本有没有转移到别的资源上,比如 CPU 降下来了,内存占用却明显增加。
10. 常见问题
10.1 在 IDE 里手写循环计时有什么问题?
手写计时并非一定测错,但需要自己排除执行环境和编译优化的干扰:
- 如果 IDE 注入了 Agent,或多个测试共享同一个 JVM,它们可能影响运行状态。
- 预热不足,会混入类加载和 JIT 编译的成本。
- 死代码消除、常量折叠和循环优化会改变实际被测的工作。
- 对于耗时很短的操作,计时器本身的开销就不可忽略。
JMH 会生成调用基准方法的测试框架,提供 fork、迭代和统计支持。但输入状态和实际工作量,仍然要你按实验目标来设计。
10.2 应该返回结果,还是用 Blackhole?
单个结果直接返回更简单;有多个结果,或者结果不方便返回时,用 Blackhole。两种方式的作用一样,都是让被测计算的结果保持可观察。Blackhole 自己也有开销,所以要先想清楚测量边界,再选消费方式。
10.3 微基准的结论能直接用到生产吗?
不能直接用。基准结论只对应实验时的 JDK、硬件、输入和线程数。用到生产之前,要确认差异稳定、输入分布真实,而且这个热点确实影响业务,然后再验证正确性和系统性能。也要顾及代码可读性,不要为了几乎观察不到的局部收益增加复杂度。
11. 面试题卡片
12. 参考资料
- OpenJDK JMH
- JMH:Benchmark Modes
- JMH:Dead Code
- JMH:Constant Fold
- JMH:Per Invoke Setup
- JMH:Level
- JMH:Profilers
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明