跳到主要内容
约 13 分钟3 张卡

零拷贝

零拷贝(zero copy)是指减少 I/O 路径上由 CPU 完成的数据复制,尤其是数据在内核与应用之间的来回搬运。它省掉的是特定环节的副本;文件尚未缓存时仍要从存储设备读取,发送到网络也仍需设备传输。

Java 中可以通过 FileChannel.transferTo 利用平台的高效通道传输,通过 FileChannel.map 访问映射的文件区域,也可以用直接 ByteBuffer 减少本地 I/O 的中间复制。三者优化的环节不同。回答这类问题,要先指出省掉了哪一步,再说明部分传输、页面访问和内存释放带来的约束。

1. 面试核心​

先记住这几条,再读正文
  • FileChannel.transferTo 在平台支持时可以利用 sendfile,省去数据经过 Java 堆缓冲区的那一份副本。卡 · FileChannel.transferTo
  • FileChannel.map 把文件区域映射到进程地址空间,适合随机访问;第一次访问不在内存里的页时,仍要等缺页和磁盘读取。
  • allocateDirect 分配的数据位于堆外,可减少本地 I/O 的中间复制;在 HotSpot 中,自动释放仍然依赖相关 Java 对象的可达性和 GC 清理时机。卡 · 直接 ByteBuffer
  • transferTo 返回本次实际传输的字节数,可能少于请求量,要保存进度、循环继续。
  • MappedByteBuffer 的生命周期独立于文件通道,关闭通道后,已有映射仍然有效。卡 · 映射大小与释放时机

2. 普通文件传输的复制过程​

普通文件发送会让同一批数据先进入应用,再交回内核网络栈。应用用堆数组读文件、再写入 Socket 时,数据路径可以简化成:

存储设备 → 内核页缓存 → Java 堆缓冲区 → 内核 Socket 缓冲区 → 网卡

页缓存(page cache)是操作系统在内存里缓存文件内容的区域,读文件时数据先到这里。Java 堆缓冲区在用户空间,是应用自己能访问的内存。中间两个箭头,一个把数据从内核复制到用户空间,一个再从用户空间复制回内核。实际路径还取决于操作系统、文件系统、驱动和 JVM,这里只看主干。

除了中间复制,分开的读取和写入还需要系统调用,增加用户态与内核态之间切换的开销。

如果只是原样发送文件,应用不需要检查或修改字节,就可以考虑省去数据经过用户缓冲区的步骤。

3. FileChannel.transferTo​

FileChannel.transferTo 把文件的指定区域直接传给目标通道,应用不经手数据,通道实现就可以选择更省复制的方式:

try (
FileChannel source = FileChannel.open(path, StandardOpenOption.READ);
SocketChannel target = SocketChannel.open(address)
) {
long position = 0;
long size = source.size();

while (position < size) {
long transferred = source.transferTo(
position,
size - position,
target
);
if (transferred == 0) {
throw new IOException("transfer made no progress at " + position);
}
position += transferred;
}
}

循环每次从 position 开始传输,用返回值推进位置,直到传完最初记录的 size。在 Linux 等支持的平台和目标通道上,transferTo 可以利用 sendfile 在内核中传输,省去数据进入 Java 堆缓冲区、再交回内核的步骤,也可能减少系统调用。

3.1 部分传输​

transferTo 返回的是本次实际传输的字节数,可能小于请求的量,甚至是 0。目标暂时写不进去,或者操作系统限制了单次传输量(例如 Linux 的 sendfile 一次最多约 2 GB),都会出现这种情况。所以不能假设调用一次就传完,要像示例那样循环,并记住已经完成到了哪个位置。

示例的目标是阻塞的 SocketChannel,正常情况下每次至少传出一些字节;如果返回 0,说明没有进展,就抛出异常,让调用方知道文件没有发完,而不是死循环。非阻塞目标返回 0 是正常的,这时要保存当前位置,等 Selector 通知可写再继续(见 Java NIO)。整个传输完成前,两个通道都要保持打开。

3.2 平台差异​

transferTo 不保证使用 sendfile。API 规定传输行为,具体路径由通道实现和操作系统决定;不能使用直接传输时,也可能采用映射或普通读写。因此,要在目标环境观察系统调用、CPU 使用率和吞吐量,确认实际获得了什么收益。

文件直接传到 Socket 的这条路径,适合不需要应用处理字节的场景。要在用户态压缩、加密、改写协议内容或逐字节解析时,数据仍需由应用访问;不需要处理的部分,例如静态文件响应体,才可以单独考虑直接传输。

3.3 Go 的通道传输​

Go 也可以让标准库根据实际对象选择传输路径。以 Go 1.22 为例,io.Copy(dst, src) 先检查 src 是否实现 io.WriterTo,其次检查 dst 是否实现 io.ReaderFrom;两者都不满足时,才使用缓冲区循环读写。实现这些接口只表示可以接管复制过程,不自动等于零拷贝。

在 Linux 上,文件到普通 TCP 连接的标准库实现可以利用 sendfile,省去文件内容经过 Go 用户态缓冲区的步骤。是否选中它,取决于实际文件、连接类型和操作系统支持。给连接套上只暴露普通 Read、Write 的包装,可能遮住优化接口;TLS 加密、压缩等需要在用户态处理字节的操作,也不能直接套用这条原样发送路径。

因此,回答「Go 怎样实现零拷贝」时,可以从文件到 TCP 的 io.Copy 链路解释,但不能承诺每次 io.Copy 都调用 sendfile。要同时检查返回的字节数与错误,并在目标 Linux 环境跟踪实际系统调用;只有数据内容正确,还不足以证明复制路径已经优化。

4. 内存映射​

内存映射(memory-mapped file)是把文件区域映射到进程地址空间,让应用通过内存访问读取内容;能否修改、修改是否写回文件,则取决于映射模式。FileChannel.map 建立映射,返回的 MappedByteBuffer 是访问入口:

try (FileChannel channel = FileChannel.open(path, StandardOpenOption.READ)) {
MappedByteBuffer mapped = channel.map(
FileChannel.MapMode.READ_ONLY,
0,
Math.min(channel.size(), 1024L * 1024)
);

while (mapped.hasRemaining()) {
consume(mapped.get());
}
}

这里只映射文件开头最多 1 MiB,再通过 mapped.get() 读取字节并交给 consume。在常见的文件映射实现中,进程直接访问映射的文件页,不必先把整块内容复制到 Java 堆数组。

建立映射不保证文件内容已经驻留在内存中。缺页(page fault)是访问页面时,操作系统需要补齐页面映射或调入内容的情况。如果访问的文件页尚未在内存中,操作系统还要读取存储设备,当前的 get() 就需要等待。因此,映射减少了中间复制,却不会消除冷数据的读取延迟;等待只是发生在内存访问时。

4.1 内存映射的适用场景​

内存映射适合按位置访问文件,以及反复访问已经读进内存的文件页,比如:

  • 需要随机读取大文件中的不同区域。
  • 多个进程需要读取同一份文件页。
  • 索引、日志或数据文件采用固定布局,可以按偏移找到内容。
  • 希望减少用户态复制,并让操作系统管理页面换入换出。

只是顺序读一个小文件的话,缓冲流或 FileChannel.read 更简单,也更容易控制资源释放。

4.2 内存映射的边界​

映射省掉了复制,代价是程序要承担页面管理和文件共享的成本:

  • 映射占用进程的虚拟地址空间,也需要页表记录地址对应关系。映射区域越大,这些管理成本越需要关注。
  • 首次访问冷页会等待缺页处理,因此单次访问延迟会升高。
  • 大范围随机访问会反复换入文件页,把其他常用数据挤出缓存,造成缓存抖动。
  • 映射有独立的生命周期,关闭文件通道后仍然保留。长期使用大量映射时,需要管理它们的引用和占用。
  • 文件被其他进程截断或并发修改时,需要约定读写顺序和一致性协议。

写入方面,READ_WRITE 模式的映射,修改会写回文件,但写回时机由操作系统决定。对本地文件调用 force(),可以保证它返回前修改已经写入存储设备;网络文件系统等非本地存储没有同样的保证。

PRIVATE 模式是写时复制:修改某一页时,操作系统先为这个进程复制一份私有的页,修改只发生在副本上,不会写回文件,force() 对它也没有效果。另外,force() 只保证写回,不保证多处修改要么都成功、要么都不成功,这需要应用自己设计协议(见常见问题)。

5. 直接 ByteBuffer​

直接缓冲区是数据位于 Java 堆之外的 ByteBuffer,操作系统做 I/O 时可以直接使用这块内存。下面分配一个 64 KiB 的直接缓冲区:

ByteBuffer direct = ByteBuffer.allocateDirect(64 * 1024);

System.out.println(direct.isDirect()); // true

isDirect() 返回 true,说明这是直接缓冲区。操作系统执行 I/O 时需要稳定的内存区域,而 GC 可能移动堆对象。HotSpot 用堆缓冲区进行通道写入时,会先复制到临时直接缓冲区;读取时则先读进临时直接缓冲区,再复制回堆。直接使用可复用的直接缓冲区,可以省去堆缓冲区与临时缓冲区之间的复制。

堆外数据仍通过 Java ByteBuffer 对象访问。相关对象不再能由程序通过有效引用访问时,称为不可达。在 HotSpot 中,自动分配的本地内存还要等 GC 清理机制处理后才能释放,所以不再使用缓冲区,并不代表内存已经归还。

5.1 直接内存的代价​

直接内存只减少 I/O 的中间复制,分配和使用本身都有代价:

  • 分配与释放涉及本地内存管理,通常比普通堆缓冲区更贵。因此,它更适合分配后长期复用。
  • 数据不计入普通 Java 堆占用,但仍占用进程内存,并受 JVM 直接内存上限约束。
  • 大量短命缓冲区会在清理完成前积压,持续占用直接内存额度。
  • 纯 Java 代码随机调用 get、put 时,没有本地 I/O 中间复制可省,性能需要与堆数组实测比较。
  • 直接内存额度耗尽时,即使 Java 堆还有空间,也会发生 OutOfMemoryError。

因此,排查这类 OOM 时,不能只看 Java 堆是否还有空间。复用直接缓冲区可以降低分配频率,但缓冲池本身也要限制容量,并约定用完后如何归还;一直借出不还,同样会耗尽池中的资源。

6. 三种机制的比较​

三种机制优化的是不同环节,最简单的区分方法是看数据需不需要经过应用处理:

机制主要目标数据是否进入 Java 堆适合场景主要风险
transferTo / transferFrom在通道间直接传输可省去应用堆副本文件原样发送平台差异、部分传输
MappedByteBuffer将文件页映射到地址空间不需要普通堆数组副本大文件随机访问、固定布局缺页延迟、映射生命周期
直接 ByteBuffer为本地 I/O 提供直接数据区域数据在堆外高频网络或文件 I/O 缓冲分配成本、堆外 OOM

文件原样发送,用通道传输;按位置访问文件,考虑映射;应用要处理字节、又有大量 I/O,考虑复用直接缓冲区。它们可以组合使用。不管选哪个,都要结合数据量和生命周期,确认省下的复制成本确实超过了新增的管理成本。

7. 性能验证指标​

验证零拷贝的效果,要同时确认两件事:复制确实减少了,内存和延迟也没有因此变差。只看平均耗时不够,还要观察:

  • 比较吞吐量与尾延迟,也就是单位时间完成的工作量和最慢一部分请求的耗时。
  • 记录 CPU 使用率和系统调用次数,判断数据搬运与跨内核调用是否减少。
  • 记录上下文切换与缺页次数,判断等待和页面换入是否增加。
  • 分别记录 Java 堆、直接内存和进程 RSS。RSS 表示进程当前驻留在物理内存中的页面总量。
  • 记录 GC 停顿和缓冲区分配速率,判断缓冲复用是否减少了分配压力。
  • 检查文件页缓存是否挤出了其他常用数据,导致系统其他部分变慢。

测试的数据量和访问方式要接近真实负载,并分别测量冷缓存与热缓存:前者需要从存储设备读取文件页,后者已经有可用的内存缓存。各方案的 JIT 预热程度也应一致,避免把缓存和编译状态的差异误当成机制本身的收益。

8. 映射大小与释放时机​

处理大文件时,要分别管两件事:每段映射多大,以及它活多久。

先说大小。返回 MappedByteBuffer 的 map 重载最多映射 Integer.MAX_VALUE 字节,也就是约 2 GB,因为 ByteBuffer 的下标是 int。更大的文件要分成多段,分别映射。

再说释放。关闭 FileChannel 并不会解除映射,已有的 MappedByteBuffer 还能继续读写。Java 17、21 的 MappedByteBuffer 没有公开的 close() 方法,解除映射要等 GC:映射对象和从它创建的所有视图(比如 slice() 出来的缓冲区)都不可达、并被回收之后,映射才会解除。因此不能通过关闭通道控制映射释放时间。

在 Windows 等环境中,尚未解除的映射还可能妨碍文件删除或替换,文件轮换流程要考虑这一点。

还要注意统计口径。HotSpot 的 -XX:MaxDirectMemorySize 只限制直接缓冲区的分配,文件映射不计入这个额度。排查内存时,要分别看直接缓冲区(direct)、文件映射(mapped)和进程的 RSS,才知道内存到底被谁占了。

9. 常见问题​

9.1 零拷贝真的完全没有数据复制吗?​

不是。数据仍需在设备与内存之间传输。DMA 是让设备直接访问内存的机制,可减少 CPU 逐字节搬运数据的工作,但传输的发起和管理仍有开销。零拷贝所说的减少复制,要落实到具体路径,例如省去文件内容从内核复制到应用缓冲区的那一步。

9.2 直接内存受垃圾回收影响吗?​

9.3 内存映射一定比 read 快吗?​

9.4 force() 等于事务提交吗?​

10. 面试题卡片​

11. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明