跳到主要内容
约 13 分钟3 张卡

Java NIO

Java NIO 提供基于缓冲区和通道的 I/O API。Buffer 保存数据并记录读写位置,Channel 在缓冲区与文件、Socket 之间传输数据;处理多个非阻塞网络连接时,还可以用 Selector 集中等待就绪事件。

NIO 是 Netty 等网络框架的基础。使用时需要理解 Buffer 的位置状态怎样随读写变化,知道 flip、clear、compact 各在什么时候调用。同时,Selector 只告诉你「可以试着读写了」,读到半条消息、只写出一部分数据都是正常结果,应用要为每个连接保存这些未完成的状态。

1. 面试核心​

先记住这几条,再读正文
  • 写完要读时调用 flip():它把当前 position 设为 limit,再把 position 归零,读取范围正好是刚写入的数据。
  • compact() 保留未读字节,把它们移到开头再接着写;clear() 只重置位置,不擦除原有字节。
  • Selector 让一个线程集中等待多个非阻塞通道的就绪事件,应用再通过 Channel 把数据读进或写出 Buffer。卡 · Buffer
  • Selector 通知就绪后,读写仍由应用自己调用;异步 I/O 通知的则是已提交操作的完成结果。两者都需要检查实际读写数量。卡 · 就绪事件的含义
  • slice() 和 duplicate() 与原缓冲区共享内容,但各自维护 position、limit 和 mark。卡 · 缓冲区视图与位置重置

2. Buffer​

缓冲区(Buffer)用于保存一段数据,并用位置属性记录当前可访问的范围。用普通数组时,需要自己记住写到了哪里、哪些内容有效;Buffer 把这些信息放进了对象里:

  • capacity:缓冲区总容量,创建后不会改变。
  • position:下一次相对读写的位置,读写后会向前移动。
  • limit:当前可读写范围的上界,可访问下标必须小于它。
  • mark:可选的位置标记,调用 mark() 保存,再用 reset() 返回该位置。

设置了标记时,四者始终满足 0 <= mark <= position <= limit <= capacity。如果把 position 或 limit 调到标记之前,标记就会失效;flip、clear、rewind 和 compact 也都会丢弃标记。

position 始终表示下一次相对读写的位置,limit 始终限定可访问范围。「读模式」「写模式」是应用对这组位置的用法,并不是一个禁止读或写的开关。准备接收数据时,让范围覆盖可写区域;准备消费数据时,再把范围缩到有效数据。先创建一个字节缓冲区:

ByteBuffer buffer = ByteBuffer.allocate(1024);

它的容量是 1024 字节,刚创建时处于写模式,整个缓冲区都可以写:

position = 0
limit = capacity = 1024

2.1 flip​

flip() 把刚写入的区域设为接下来的读取范围:将当前 position 设为 limit,再把 position 归零。下面先写四个字节,再从头读取:

buffer.put((byte) 'J');
buffer.put((byte) 'a');
buffer.put((byte) 'v');
buffer.put((byte) 'a');

buffer.flip();

while (buffer.hasRemaining()) {
System.out.print((char) buffer.get());
}

写入四个字节后,position 是 4,正好是已写数据的末尾。flip() 把 4 设为新的 limit,再把 position 归零。所以循环只读下标 0 到 3,输出 Java,不会读到后面没写过的 1020 个字节。

如果忘了 flip(),position 还是 4、limit 还是 1024,循环会从下标 4 开始读出 1020 个零字节,Java 反而一个字都读不到。

2.2 clear 与 compact​

读完要切回写模式、接收下一批数据时,先看当前数据是否已经全部处理完。clear() 和 compact() 分别对应这两种情况:

  • clear() 把 position 设为 0、limit 设为容量,适合已有数据全部消费完后从头写入。
  • compact() 将未读数据移到开头,把 position 设为剩余数据长度,并将 limit 设为容量。下一次写入就会接在这些数据后面。

clear() 不会擦除内容。旧字节仍然存在,下一次写入会从开头覆盖它们;如果需要清除敏感字节,必须另行覆盖缓冲区内容。

channel.read(buffer);
buffer.flip();

consumeCompleteFrames(buffer);
buffer.compact(); // 未完成的一帧留到下一次读取

这段代码展示了 compact() 怎样保留网络消息的残缺部分。一次读取可能只有半条消息,也可能有一条半。consumeCompleteFrames 消费完整消息后,把 position 停在未消费部分的开头;compact() 将剩余字节移到缓冲区开头,下一次 read 就能接着写。若改用 clear(),新数据会从头覆盖,原来那半条消息就无法继续拼接。

3. Channel​

通道(Channel)表示与文件、Socket 等 I/O 对象的连接,具体类型决定它支持读取、写入还是两者都支持。下面用 FileChannel.read 将文件数据读进 ByteBuffer,由应用管理每次读取后的有效范围:

try (FileChannel channel = FileChannel.open(path, StandardOpenOption.READ)) {
ByteBuffer buffer = ByteBuffer.allocate(8192);

while (channel.read(buffer) != -1) {
buffer.flip();
consume(buffer); // 消费本次读出的全部字节
buffer.clear();
}
}

每次最多读 8192 字节:read 写入缓冲区,flip() 切到读模式,consume 消费本次读到的全部字节,clear() 切回写模式。读到文件末尾时 read 返回 -1,循环结束,try-with-resources 关闭通道。

读写方法的名字是从通道的角度起的,和缓冲区的方向正好相反:

  • channel.read(buffer) 从通道读取数据,写入缓冲区。
  • channel.write(buffer) 从缓冲区读取数据,写入通道。

3.1 部分写入​

非阻塞模式的 SocketChannel.write 不会等待发送缓冲区腾出足够空间,而是返回本次实际写出的字节数。发送缓冲区空间不足时,可能只写出一部分,甚至返回 0:

while (buffer.hasRemaining()) {
int written = channel.write(buffer);
if (written == 0) {
break;
}
}

每次写出一部分,position 就往前移,没写出去的字节还留在缓冲区里。返回 0 说明现在写不动了,再循环下去只会空耗 CPU,所以退出循环。这时要把这个缓冲区保存到连接状态里,等通道再次可写时接着发(见 OP_WRITE 的注册时机)。如果直接丢掉,对方收到的响应就是截断的。

不同通道的等待方式不一样。FileChannel 只有阻塞模式,不能注册到 Selector;SocketChannel 默认也是阻塞的,要调用 configureBlocking(false) 才会出现上面这种部分写入。

4. Selector​

选择器(Selector)让一个线程等待多个通道的就绪事件。采用一个连接一个线程的阻塞模型时,没有数据的连接也会占着一个等待 read 的线程;Selector 把这些等待集中起来,线程只在通道就绪后尝试处理。

能注册到 Selector 的是 SelectableChannel,比如 SocketChannel 和 ServerSocketChannel。通道要先切换成非阻塞模式,再登记要关注的事件:

Selector selector = Selector.open();
ServerSocketChannel server = ServerSocketChannel.open();

server.configureBlocking(false);
server.bind(new InetSocketAddress(8080));
server.register(selector, SelectionKey.OP_ACCEPT);

这段代码监听 8080 端口,用 OP_ACCEPT 关注「有新连接可以接受」这个事件。register 返回一个 SelectionKey,代表这个通道在这个 Selector 上的注册关系,后面的事件都通过它来识别。

事件循环是反复「等待就绪、处理就绪」的那个循环。select() 会阻塞,直到至少有一个通道就绪;但 wakeup() 或线程中断也会让它提前返回,所以返回后要看实际选中了哪些键,而不是假设一定有事件:

while (!Thread.currentThread().isInterrupted()) {
selector.select();

Iterator<SelectionKey> iterator = selector.selectedKeys().iterator();
while (iterator.hasNext()) {
SelectionKey key = iterator.next();
iterator.remove();

if (!key.isValid()) {
continue;
}
if (key.isAcceptable()) {
accept(key);
}
if (key.isValid() && key.isReadable()) {
read(key);
}
if (key.isValid() && key.isWritable()) {
write(key);
}
}
}

iterator.remove() 从已选中键的集合中移除当前键。Selector 不会因为应用处理过一个事件,就自动把仍有效的键移出集合;不移除,下一轮遍历还会看到它,可能重复处理旧事件。代码随后按事件类型调用处理函数。处理过程中连接可能被关闭,后面的分支因此先检查 key.isValid()。

4.1 就绪事件的含义​

就绪通知的意思是「现在可以尝试这个操作了」,结果如何仍以实际调用为准。正常情况下,Socket 的 OP_READ 表示有数据可读,OP_WRITE 表示内核发送缓冲区还有空间。连接被对方关闭或出错时,也会触发读就绪,这时 read 会返回 -1 或抛出异常。

所以非阻塞 read 的返回值要区分三种情况:

  • 正数表示本次读到的字节数。
  • 0 表示本次没有读到数据。确认缓冲区还有可写空间后,再等待后续就绪事件。
  • -1 表示输入结束,即 EOF,需要按协议处理关闭。

读到正数也可能只有半条消息;写入后同样要检查 Buffer 里是否还有剩余,并处理调用抛出的异常。Selector 只负责通知就绪,真正的 read 和 write 由事件循环线程自己调用。

4.2 OP_WRITE 的注册时机​

只在有数据尚未发完、需要等待通道可写时,才关注 OP_WRITE。发送缓冲区有空间时,Socket 就可能保持可写,这与应用有没有数据要发无关。发送队列已经空了却仍关注 OP_WRITE,就可能让 select() 反复返回,事件循环不断检查空队列,白白消耗 CPU。

所以 OP_WRITE 的关注要跟着待发送数据走:

  1. 平时只关注读取。
  2. 写操作未能发送完时,把剩余缓冲区保存到连接状态,并增加 OP_WRITE。
  3. 待发送数据全部写完后,取消对 OP_WRITE 的关注。

5. 连接状态​

事件循环需要为每个连接保存独立的处理进度。一个线程轮流处理多个连接,遇到数据不够或暂时不可写就返回,不能只靠这次调用的局部变量记住进度。下面用一个对象保存未处理完的输入和输出:

final class ConnectionState {
final ByteBuffer input = ByteBuffer.allocate(8192);
final Deque<ByteBuffer> output = new ArrayDeque<>();
}

input 保存读到但还没拼成完整消息的字节,output 排着还没发完的响应。注册通道后,可以把这份状态附加到 SelectionKey 上:

SelectionKey key = channel.register(selector, SelectionKey.OP_READ);
key.attach(new ConnectionState());

之后这个连接的每个事件都通过同一个键,用 key.attachment() 取回状态,接着拼接或发送。一个完整的实现还要处理这些问题:

  • 处理半包和粘包:前者指一次只读到消息的一部分,后者指一次读到多条消息的字节。
  • 管理待发送队列并实施背压,也就是处理或发送跟不上时,限制上游继续产生数据。
  • 连接关闭或异常时,释放通道、缓冲区和未完成任务占用的资源。
  • 记录当前处于读取、解析还是业务处理阶段,保证下一次事件从正确位置继续。
  • 检查空闲超时、消息长度等协议限制,防止连接长期占用资源。

Selector 省下了线程,代价就是这些状态要由应用自己维护。连接越多,越要及时清理已经结束的连接,并限制单个连接每轮占用的处理时间,让其他连接也轮得到。

6. 事件循环与业务线程​

一个事件循环管理很多连接,所有处理函数都跑在同一个线程上。只要其中一个处理函数做了长时间计算、阻塞的数据库调用或远程请求,这个循环里所有其他连接的读写都要等它。所以耗时业务要交给独立的执行器,并限制工作线程和排队任务的数量。

分工通常是这样的:

  1. 事件循环负责接收、读取、协议拆帧(从字节流中切出完整消息)和排队写出。
  2. 有界业务执行器处理阻塞或耗时的业务。
  3. 业务结果回到对应事件循环,加入连接的输出队列。

业务线程算完以后,不直接去写通道,而是把结果放进一个线程安全的队列,再调用 selector.wakeup()。事件循环可能正阻塞在 select() 上,wakeup() 让它立即返回,取出结果放进对应连接的输出队列。兴趣集是通道当前关注的事件集合,例如 OP_READ 和 OP_WRITE。更新兴趣集也交回事件循环线程来做。这样连接状态始终只由一个线程修改,不需要加锁。

还要考虑发送跟不上的情况。对方接收慢,响应就会在输出队列里越积越多。不限长度的队列只是把等待变成了内存占用,最后会耗尽内存。应该给每个连接的队列设上限,接近上限时暂停读取这个连接的新请求,向上游施加背压;超过上限则按协议拒绝请求或关闭连接。

7. BIO、NIO 与异步 I/O​

区分 I/O 模型看两点:调用在哪里等待,以及通知表示「可以做了」还是「已经做完了」:

模型等待方式调用结果状态主要由谁维护
阻塞流/通道每个调用等待数据或完成调用返回时已有结果线程调用栈
非阻塞通道 + Selector一个线程等待多个通道就绪就绪后应用继续读写事件循环与连接状态
异步通道提交操作后由回调或 Future 接收完成通知表示操作完成异步 API 与回调状态

阻塞调用把「做到哪了」留在线程的调用栈里;Selector 模型把未完成的输入输出搬进连接状态对象;异步通道(如 AsynchronousSocketChannel)是提交一个读写操作,等它完成后通过回调或 Future 拿到结果,应用不需要在就绪后再去调用一次 read。

所以「用了 java.nio 包」不等于非阻塞。FileChannel 只能阻塞,SocketChannel 默认也是阻塞的。只有把可选择的通道设为非阻塞并注册到 Selector,才是本文讨论的就绪驱动模型。

8. 缓冲区视图与位置重置​

缓冲区视图是和原缓冲区共享同一份字节、但有自己一套位置属性的新 Buffer 对象。需要用不同位置读同一份数据时,比如单独解析消息体,用视图就不必复制字节。

slice() 对应原缓冲区当前剩余的区域(从 position 到 limit),视图的下标从 0 重新开始。duplicate() 对应整个内容,并复制创建那一刻的位置状态。创建之后,各自的 position、limit 和 mark 互不影响:

ByteBuffer source = ByteBuffer.wrap(new byte[] {10, 20, 30});
source.position(1);
ByteBuffer view = source.slice();
view.put(0, (byte) 99);
System.out.println(source.get(1)); // 99
System.out.println(source.position()); // 1
System.out.println(view.position()); // 0

source 的 position 是 1,所以切出来的 view 下标 0 对应 source 的下标 1。通过 view 写入 99,source.get(1) 读到的也是 99,说明字节是共享的。带下标参数的 get、put 是绝对读写,不移动 position,所以后两行分别输出 1 和 0。

位置相关的还有一个 rewind():它把 position 归零、保留 limit,用来把同一段数据再读一遍。它和 flip() 的区别是,flip() 会把当前 position 当作新的 limit,rewind() 不动 limit。

视图只隔离了位置,没有隔离内容。多个线程通过不同视图写同一段字节,仍然需要同步。asReadOnlyBuffer() 得到的只读视图,也只是禁止通过它自己写入,原缓冲区改了,只读视图里看到的内容照样会变。

9. 常见问题​

9.1 flip、clear 和 compact 分别在什么时候调用?​

看接下来要读还是写,以及旧数据有没有处理完:

  • 写入 Buffer 后要读取刚写的数据,调用 flip()。
  • 数据全部读完,要从头覆盖写入,调用 clear()。
  • 还有半条消息等未读数据,要保留它们继续接收,调用 compact()。

9.2 Selector 为什么可以减少线程数量?​

9.3 一次 OP_READ 可以读到完整请求吗?​

9.4 SelectionKey 取消后会立即释放资源吗?​

10. 面试题卡片​

11. 参考资料​

来源:Coding 101 原文 · 免费阅读,引用请保留出处。内容使用说明