Java I/O模型笔记

学习笔记，整理I/O过程，区分同步异步，阻塞非阻塞常见概念，整理I/O模型，Java I/O模型

1. I/O 过程

我们编写的程序是运行在用户空间中，而用户空间无法直接操作内核空间，这就意味着，我们编写的程序，是无法直接访问由内核管理的I/O。因此，通常用户进程中的一次完成I/O交互应分为两个阶段：

• I/O调用阶段：应用程序向内核发起系统调用
• I/O执行阶段：
  • 等待数据阶段：内核等待I/O设备(磁盘/网络)准备数据
  • 拷贝数据阶段：将数据从内核缓存区拷贝到用户空间缓冲区

从上面这个流程我们可以发现，其实应用程序（用户进程/线程）实际上只发出了I/O操作的调用而已，后续的行为，均是由操作系统的内核完成的。而对于用户进程/线程调用I/O请求后的行为，以及当内核完成操作后，用户进程/线程如何感知，划分了不同的I/O模型。

2. 同步异步 & 阻塞非阻塞

为了更好的理解I/O模型，首先区分一下几个容易混淆的概念

同步&异步

• 同步异步主要是看对消息结果的获取是主动发起的，还是被动调用的
• 同步：请求是主动发起的，且主动获取请求的结果（等待IO操作完成）
• 异步：请求是主动发起的，但是请求的结果，由服务方进行告知（不等待，由IO操作完成后通知）

具体流程图：

阻塞&非阻塞

阻塞与非阻塞是在描述访问某个资源时，当数据没有准备就绪时：

• 阻塞：线程等待资源中的数据准备完成，当前线程挂起，什么都不能干，等着获取结果
• 非阻塞：线程直接返回结果，不会持续等待，该进程仍处于运行的状态，仍可以处理其他事务。等待资源准备结束后，才响应结果

具体流程图：

组合整合

关于同步异步阻塞非阻塞，常见的四个组合：同步阻塞，同步非阻塞，异步阻塞，异步非阻塞，这里直接通过举例进行理解：

假设我们去照相馆拍照，拍完照，老板说需要一些时间才能拿到照片，此时：

• 同步阻塞：我们就在照相馆里等着，其他什么事情都不做（同步：主动询问照片是否完成，阻塞：照片完成前，无法做其他事）
• 同步非阻塞：我们离开去做其他事情，但是时不时来询问老板照片是否已经处理完，直接拿到照片（同步：主动询问照片是否完成，非阻塞：照片完成前，可以做其他事情）
• 异步阻塞：我们离开去了其他地方，但是没有做任何事情，一直在那里等老板的电话，直到老板打电话通知我们照片洗好了，匆匆来到照相馆拿照片（异步：由老板告知照片完成，阻塞：照片完成前，无法做其他事）
• 异步非阻塞：我们离开去做其他事情，直到老板洗完照片，打电话通知我们照片洗好了，才再次来到照相馆拿照片（异步：由老板告知照片完成，异步：照片完成前，可以做其他事情）

3. I/O 模型

对常见I/O通信模型进行整理

3.1 阻塞I/O模型

结合第一部分I/O调用流程，即应用程序调用I/O请求之后，在内核完成两个阶段（等待数据，拷贝数据）期间，都处于被阻塞的状态，具体示意图：

该模型的优势，实现难度低，开发应用比较容易，对于并发量小的应用比较适合。但缺点也比较明显，如果内核数据处理时间较久，则用户线程被挂起的时间较久，浪费了性能，不适合并发量较大的应用，因为每一个I/O请求都会阻塞，将会导致大量的进程/线程处于被挂起的状态。

3.2 非阻塞I/O模型

非阻塞I/O模型，在阻塞I/O模型的基础上，将阻塞变为非阻塞，那就是用户进程在发起系统调用时指定为非阻塞，内核接收到请求后，就会立即返回，但对于操作的结果，需要由用户进程通过轮询拉取的形式来获取，具体示意图：

该模型相对于阻塞I/O模型，在一定程度上性能有所提升，但也存在很明显问题，用户进程需要不断地主动询问内核，造成严重的性能浪费。

3.3 多路复用I/O模型

多路复用I/O模型，多个进程的I/O可以注册到一个复用器(Selector)上，Selector会监听注册进来的所有I/O。

• 当Selector监听的所有I/O在内核缓冲区都没有可读数据时，select调用进程会被阻塞
• 当Selector监听的任一I/O在内核缓冲区中有刻度数据时，select调用就会返回，而后select调用的进程可以自己或通知另外的进程再次发起读取I/O，读取内核中准备好的数据

具体示意图：

多路复用I/O模型的优势在于它可以同时处理多个连接，相当与非阻塞I/O模型需要不断的轮询，该模型减少无效的系统调用次数，减少了对CPU资源的损耗。同时注意，数据从内核空间到用户空间，还是阻塞的。

3.4 异步I/O模型

在上面提到的几个模型中，在内核空间拷贝数据到用户空间的部分，均是阻塞的，而对于异步I/O模型，该阶段可以实现为非阻塞，具体示意图：

从内核的角度看，当它收到一个aio_read请求之后，它首先会立刻返回，所以对用户进程不会产生任何阻塞，内核会等到数据传输完成，并拷贝到用户空间之后，再向用户进程发送一个信息，告知aio_read操作操作。

小结

从上面的示意图，可以看出：

• 从阻塞程度上讲：阻塞I/O模型 > 非阻塞I/O模型 > 多路复用I/O模型 > 异步I/O模型
• 从同步/异步的角度上讲，只有异步I/O模型属于异步模型，其他的均为同步模型，即使是多路复用I/O模型

4. Java I/O模型

4.1 BIO（Blocking I/O）

• 传统BIO是一种同步的阻塞IO，IO在进行读写时，该线程将被阻塞，线程无法进行其它操作（阻塞I/O模型）
• 该模型下，服务端接收到客户端的请求后，为每个客户端新创建一个线程
• 阻塞I/O模型的工作流程：在用户线程发出I/O请求之后，内核会检查数据是否就绪，此时用户线程一直阻塞等待内存数据就绪，在内存数据就绪后，内核将数据复制到用户线程中，并返回I/O执行结果到用户线程，此时用户线程将解除阻塞状态并开始处理数据

BIO的缺陷

• 性能问题：一连接一线程的模型，导致服务端的并发接入数和系统吞吐量受到影响，在高性能服务器应用领域，往往需要面对成千上万个客户端的并发链接，这种模型显然无法满足高性能、高并发的场景
• 可靠性问题：由于采用同步阻塞模式，当网络波动时处理缓慢回导致线程被阻塞，阻塞时间无法预测
• 可维护性问题：IO线程数无法有效控制、资源无法有效共享（多线程并发问题），系统可维护性差

4.2 伪异步IO

以传统BIO模型为基础，通过线程池的方式维护所有的IO线程，实现相对高效的线程开销以及管理。

• 当有新的客户端连接时，将客户端的Socket封装成一个Task，投递到一个线程池中进行处理。
• 读取数据仍为同步阻塞等待数据，但通过线程池，实现伪异步模型（只解决线程管理的问题）

4.3 NIO（Non-Blocking I/O）

• NIO（JDK1.4）模型是一种同步非阻塞IO，基于多路复用I/O模型实现
• 主要有三大核心部分：Channel(通道)，Buffer(缓冲区)，Selector（多路复用器）
• 传统IO基于字节流和字符流进行操作，而NIO基于Channel和Buffer进行操作，数据总是从Channel读到Buffer，或者从Buffer写入Channel中。Selector用于监听多个通道的事件。因此单个线程可以监听多个数据通道。
• NIO一个重要的特点是：socket主要的读、写、注册和接收函数，在等待就绪阶段都是非阻塞的，真正的I/O操作是同步阻塞的

NIO的优势

• 客户端发起的连接操作是异步的
• SocketChannel的读写操作也是异步的
• 线程模型的优化

4.4 AIO（Asynchronous I/O）

• JDK 1.7(NIO2)实现
• 内核将数据读取完毕，并放在了用户线程指定的缓冲区后，内核通知用户线程直接使用即可（异步I/O模型）

参考

• 《Netty4核心原理与手写RPC框架实战》
• 常见的IO模型有哪些：https://www.cnblogs.com/javaguide/p/io.html
• IO模型知多少 | 理论篇：https://www.cnblogs.com/sheng-jie/p/how-much-you-know-about-io-models.html
• Java NIO浅析：https://zhuanlan.zhihu.com/p/23488863