Java 直接内存
Java 直接内存是 NIO 直接缓冲区在 Java 堆之外分配的内存,主要用来存放 I/O 缓冲数据,让操作系统的 I/O 调用能直接访问,少一次堆内外之间的复制。
直接内存不计入 -Xmx,所以堆使用率正常时,进程仍可能因堆外占用增长而被容器终止。它也只是堆外内存的一部分,线程栈、类元数据、JIT 代码、文件映射和本地库还会占用其他空间。排查时要分清缓冲区的释放时机、MaxDirectMemorySize 的限制范围,以及哪些指标能定位增长来源。
1. 面试核心
先记住这几条,再读正文- HotSpot 的
ByteBuffer.allocateDirect把缓冲内容分配在堆外,管理对象仍在堆内,原生 I/O 可以直接访问这块堆外数据。卡 · 直接缓冲区 -XX:MaxDirectMemorySize只限制 NIO 直接缓冲区的容量总和,JNI 分配和文件映射要另外计入进程的内存预算。卡 · 直接内存上限与池统计- 普通直接缓冲区要等堆上的管理对象不可达后,由清理机制释放底层内存,释放时机受 GC 和清理进度影响。
- NMT 的 baseline 和 diff 按 Class、Thread、Code、GC 等类别显示 HotSpot 本地内存在一段时间里的增长。卡 · HotSpot 本地内存的来源
2. 直接缓冲区
直接缓冲区把数据内容放在 Java 堆之外,让原生 I/O(操作系统提供的底层读写操作)有机会直接使用这块内存。下面在 HotSpot 上分配一块 1 MiB 的直接缓冲区:
ByteBuffer buffer = ByteBuffer.allocateDirect(1024 * 1024);
变量 buffer 指向堆内的管理对象,其中记录着堆外区域的地址和读写位置等状态。1 MiB 的缓冲内容在堆外,不在这个管理对象里。
直接缓冲区能减少堆和本地缓冲区之间的复制。普通堆缓冲区里的对象可能被 GC 移动,不能直接把一个可能失效的地址交给系统调用,所以 JVM 通常要先把数据复制到本地缓冲区。直接缓冲区的地址不受堆对象移动影响,JVM 会尽量让原生 I/O 直接使用它。不过,省掉这一段复制,不等于整条 I/O 路径都是零拷贝。
直接缓冲区的分配和清理比普通堆缓冲区更贵,所以适合反复参与 I/O 的大块、长期使用的数据。又小又用完就丢的数据,还是要和 byte[] 或堆缓冲区比较一下成本。另外,它的内容在堆外,只看 Java 堆的占用会低估进程实际用掉的内存。
复用缓冲区可以摊薄分配成本,但缓冲池必须有容量上限。缓冲区什么时候真正释放,取决于池和管理对象的生命周期,第 3 节会具体说明。
2.1 直接内存上限与池统计
排查直接内存不足,要比较缓冲区的容量总和和配置的上限。在 HotSpot JDK 21 中,MaxDirectMemorySize 限制的是 NIO 直接缓冲区的容量总和。没有显式设置时,上限取 Runtime.maxMemory(),也就是 JVM 能使用的最大堆容量,比如 -Xmx4g 时默认上限大约也是 4 GiB。
这个参数限制的是容量计数,计数和实际的本地内存分配字节数可能不同。JNI(Java 与本地代码交互的接口)相关分配和文件映射不受它限制,需要另外留出预算。因此,不能用它推算整个进程的堆外内存上限。
BufferPoolMXBean 是读取缓冲池指标的管理接口,可以查看 direct 和 mapped 两个池的统计:
for (BufferPoolMXBean pool :
ManagementFactory.getPlatformMXBeans(BufferPoolMXBean.class)) {
System.out.printf("%s count=%d capacity=%d used=%d%n",
pool.getName(), pool.getCount(),
pool.getTotalCapacity(), pool.getMemoryUsed());
}
输出里,count 是池中缓冲区的数量,capacity 是这些缓冲区总共能容纳的字节数,used 是 JDK 为这些缓冲区记下的本地内存字节数。HotSpot JDK 21 默认按容量记账,used 和 capacity 基本相同,只有容量为 0 的缓冲区按 1 字节计。用 -Dsun.nio.PageAlignDirectMemory=true 要求页对齐时,每个缓冲区多记一页,used 才会明显大于 capacity。
slice() 和 duplicate() 创建的视图与原缓冲区共享底层内容,不会按视图大小重新分配一块独立的区域。因此,即使视图很小,长期持有它也会让原来的整块区域无法释放。
3. 直接缓冲区的生命周期
判断缓冲区有没有释放,要看谁还持有它,而不是看业务有没有处理完数据。Java 17、21 的 ByteBuffer 没有公开的释放方法,普通直接缓冲区的底层内存,要等堆上的管理对象变得不可达之后,HotSpot 才能通过清理机制释放。
业务用完缓冲区,不保证底层内存立即释放。GC 要先发现管理对象不可达,清理机制再执行释放;如果迟迟没有触发相关回收和清理,底层内存就会继续占用。前面的共享视图属于另一种情况:管理对象仍然可达,尚未满足清理条件。
缓冲池是另一种保留方式:业务把缓冲区还回池里,池会留着它给后面的请求复用。所以排查时要分三层看:缓冲区有没有归还,池是否还留着它,底层内存是否已经释放。
4. 文件映射
文件映射把文件的一段内容关联到进程的虚拟地址上,程序像访问内存一样读写文件。文件数据由操作系统按需调入内存;可写映射里被修改的页面,按映射模式和系统策略写回文件。
所以映射一个大文件,只是先建立地址关联,并没有立刻把整个文件读进来,更不会读进 Java 堆。映射长度表示虚拟地址范围,实际驻留的页面才计入 RSS,还要考虑页表等开销。映射长度、RSS 和容器里的文件缓存统计,要分开观察。
Java 17、21 用 MappedByteBuffer 访问映射:
try (FileChannel channel = FileChannel.open(path, READ)) {
MappedByteBuffer mapped = channel.map(READ_ONLY, 0, channel.size());
// 读取 mapped,单段大小最多为 Integer.MAX_VALUE 字节。
}
这里单段映射最多 Integer.MAX_VALUE 字节,大约 2 GiB。退出代码块会关闭 channel,但不会因此解除映射。映射的清理还要等 mapped 及其共享视图不再可达,所以关闭通道和解除映射是两件不同的事。
5. HotSpot 本地内存的来源
堆使用率平稳、进程内存却在涨时,除了缓冲区,还要检查其他堆外区域:
- Metaspace 和压缩类空间保存类元数据。不断动态生成类、旧的类加载器一直不释放,都会让这部分增长。
- 平台线程栈保存线程的调用状态,平台线程越多,总占用越大。
- JIT Code Cache 保存即时编译生成的机器码。
- GC 的卡表、记忆集和标记位图记录引用和存活信息,供回收器使用。
- 类加载、符号表、模块和其他 JVM 内部结构也要占内存。
- JNI 和第三方 native 库可以通过自己的分配器申请内存,JVM 不一定知道。
-Xmx 只限制 Java 堆。所以线程数增长、动态生成类或 native 泄漏,都可能在堆完全正常的情况下耗尽容器内存。
6. Native Memory Tracking
NMT(Native Memory Tracking)按类别跟踪 HotSpot 自己的本地内存分配,适合回答「这段时间是哪一类内存在涨」。它必须在启动时开启:
java -XX:NativeMemoryTracking=summary -jar app.jar
进程运行起来后,先建立一个基线,过一段时间再看相对基线的变化:
jcmd <pid> VM.native_memory baseline
jcmd <pid> VM.native_memory summary.diff
summary.diff 按 Class、Thread、Code、GC 等类别显示相对基线的增减。比如 Thread 一项持续增长,就去查是谁在不断创建平台线程。启动时选 detail 还能记录分配的调用点,代价是跟踪开销更高。如果启动时没开 NMT,运行中无法再通过 jcmd 打开它。
读 NMT 的结果时,要分清虚拟地址、已承诺内存和驻留内存:
reserved是 JVM 保留的虚拟地址区间,只是为以后的使用占好地址范围。committed是 JVM 已经承诺可以使用的内存,这部分区域已经可以读写。- RSS 是实际驻留在物理内存里的页面总量,还受页面是否被访问过、是否是共享映射的影响。
所以 NMT 的数字和 RSS 对不上是正常的。NMT 也不覆盖第三方 native 库的分配,需要系统工具补充:Linux 上可以对照 /proc/<pid>/smaps、pmap、native profiler 和容器指标,判断增长来自哪些映射或分配。
7. Direct buffer OOM
直接缓冲区分配失败时,要先分清是配置的容量不够,还是本地内存真的不够。在 HotSpot JDK 21 中,容量计数放不下新缓冲区时,JVM 会先等待清理、再重试;重试仍然失败,才抛出 OutOfMemoryError,提示无法保留所需的直接缓冲区内存。
排查时,同时检查容量是否足够、引用是否按预期释放:
- 比较 direct 池的数量、容量、已用内存和
MaxDirectMemorySize。 - 池有没有上限,单次请求的大小有没有失控。
- 队列、缓存和尚未完成的 I/O 是否还持有缓冲区。
- 有没有长期存活的小视图,把原始的大区域一直留着。
- 进程可用的本地内存和容器上限,是否满足这个工作负载。
即使配置的上限足够,native 分配仍然受进程和系统资源的约束。调大上限只适用于已经确认是容量不够的情况;如果是释放跟不上分配,或者引用一直没清理,调大上限只会让故障晚一点出现。
8. 容器内存预算
容器内存预算不能只看 Java 堆,设置堆上限时要给其他区域留出空间。可以先按下面的关系估算进程的峰值:
进程峰值 ≈ 堆 + 类元数据 + Code Cache + GC 结构
+ 线程栈 + direct / JNI
+ 映射与动态库 + 余量
先测出稳定负载和故障期间的峰值,再决定 -Xmx 和直接内存的上限。如果堆已经接近容器上限,非堆区域的正常增长也会触发 OOM Kill,也就是系统因为内存不足直接终止进程。这时 JVM 往往来不及打印 Java 层的 OutOfMemoryError,所以要查容器和系统的退出记录。
9. 常见问题
9.1 堆外内存都不受 GC 影响吗?
不是,要看由谁分配和管理。普通直接缓冲区通过堆上管理对象的可达性间接控制释放,所以 GC 会影响底层区域的生命周期。本地库按自己的 API 管理资源,要遵守它提供的关闭或释放规则。
9.2 NMT 的 reserved 很大就说明泄漏了吗?
reserved 大不代表泄漏,它只说明保留了较多虚拟地址。要在相近负载下观察 committed 或 RSS 是否持续增长,再定位是哪个类别在涨、被谁持有。
9.3 堆转储能查到直接内存由谁持有吗?
堆转储能看到缓冲区的管理对象和它们的持有链,适合回答「是谁让缓冲区一直活着」。但缓冲内容本身、线程栈、类元数据和 Code Cache 都在堆外,堆转储里看不到,需要 NMT、线程信息和系统工具补充。第三方本地库的分配,还要结合它自己的统计或 native profiler。
10. 面试题卡片
11. 参考资料
- Java API:
ByteBuffer - Oracle:Native Memory Tracking(故障排查指南)
- Java API:BufferPoolMXBean
- OpenJDK 21:Bits
- OpenJDK 21:VM
- Java API:FileChannel
- Oracle:Native Memory Tracking
来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明