Linux内核机制之epoll详解

目录

简介：

一、IO 多路复用介绍

1、select，poll，epoll 引入

2、select，poll，epoll 区别分析

3、epoll 原理

3.1 epoll 相关函数介绍

1）epoll_create

2）epoll_ctl

3）epoll_wait

3.2 epoll 高效的原理

1）epoll 高效原因一

2）epoll 高效原因二

3.3 epoll 的水平触发（Level Triggered, LT）和边缘触发（Edge Triggered, ET）

1）水平触发（LT）

2）边缘触发（ET）

3.4 哪些 fd 可以用 epoll 来管理？

简介：

在 Linux 系统之中有一个核心武器：epoll 池，在高并发的，高吞吐的 IO 系统中常常见到 epoll 的身影。

一、IO 多路复用介绍

        1 个程序就可以负责管理多个 fd 句柄，负责应对所有的业务方的 IO 请求。这种一对多的 IO 模式我们就叫做 IO 多路复用。

多路是指？多个业务方（句柄）并发下来的 IO 。

复用是指？复用一个处理程序。

1、select，poll，epoll 引入

        写个 for 循环，每次都尝试 IO 一下，读/写到了就处理，读/写不到就 sleep 下。这样我们不就实现了 1 对多的 IO 多路复用嘛。

问题：for 循环每次要定期 sleep 1s，这个会导致吞吐能力极差，因为很可能在刚好要 sleep 的时候，所有的 fd 都准备好 IO 数据，而这个时候却要硬生生的等待 1s，可想而知。。。不sleep又会导致CPU占用过高。

       我们再梳理下 IO 多路复用的需求和原理。IO 多路复用就是 1 个线程处理 多个 fd 的模式。我们的要求是：这个 “1” 就要尽可能的快，避免一切无效工作，要把所有的时间都用在处理句柄的 IO 上，不能有任何空转，sleep 的时间浪费。

         Linux内核提供 select，poll，epoll 工具实现IO多路复用。

2、select，poll，epoll 区别分析

        Linux  内核提供了 3 种工具 select，poll，epoll 实现IO多路复用

为什么有 3 种？

历史不断改进，矬 -> 较矬 -> 卧槽、高效 的演变而已。

这 3 种都能够管理 fd 的可读可写事件，在所有 fd 不可读不可写无所事事的时候，可以阻塞线程，切走 cpu 。fd 有情况的时候，都要线程能够要能被唤醒。

而这三种方式以 epoll 池的效率最高。为什么效率最高？其实无非就是 epoll 做的无用功最少，select 和 poll 或多或少都要多余的拷贝，需遍历fd ，所以效率自然就低了。

举个例子，以 select 和 epoll 来对比举例：池子里管理了 1024 个句柄，loop 线程被唤醒的时候，select 都是蒙的，都不知道这 1024 个 fd 里谁 IO 准备好了。这种情况怎么办？只能遍历这 1024 个 fd ，一个个测试。假如只有一个句柄准备好了，那相当于做了 1 千多倍的无效功。

epoll 则不同，从 epoll_wait 醒来的时候就能精确的拿到就绪的 fd 数组，不需要任何测试，拿到的就是要处理的。

3、epoll 原理

下面我们看一下 epoll 的使用和原理。

3.1 epoll 相关函数介绍

epoll 的使用非常简单，只有下面 3 个系统调用。

• epoll_create：负责创建一个池子，一个监控和管理句柄 fd 的池子；
• epoll_ctl：负责管理这个池子里的 fd 增、删、改；
• epoll_wait：就是负责打盹的，让出 CPU 调度，但是只要有“事”，立马会从这里唤醒；

1）epoll_create

int epoll_create(int size);

功能：创建一个epoll句柄

参数：

        size：监听个数

2）epoll_ctl

int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);

• epfd： 要操作的 epoll 句柄，也就是使用 epoll_create 函数创建的 epoll 句柄
• op： 表示要对 epfd(epoll 句柄)进行的操作，可以设置为：

struct epoll_event {
    uint32_t events; /* epoll 事件 */
    epoll_data_t data; /* 用户数据 */
};

3）epoll_wait

int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout)

• epfd： 要等待的 epoll

epollfd = epoll_create(1024);
if (epollfd == -1) {
    perror("epoll_create");
    exit(EXIT_FAILURE);
}

if (epoll_ctl(epollfd, EPOLL_CTL_ADD, 11, &ev) == -1) {
    perror("epoll_ctl: listen_sock");    
    exit(EXIT_FAILURE);
}

static inline __poll_t vfs_poll(struct file *file, struct poll_table_struct *pt){
    if (unlikely(!file->f_op->poll))
        return DEFAULT_POLLMASK;
    return file->f_op->poll(file, pt);
}

3.3 epoll 的水平触发（Level Triggered, LT）和边缘触发（Edge Triggered, ET）

        epoll 的水平触发（Level Triggered, LT）和边缘触发（Edge Triggered, ET）是两种不同的事件通知机制，它们定义了 epoll 如何向应用程序报告文件描述符上的事件。理解这两种模式的差异对于使用 epoll 处理并发网络连接是很重要的。

代码设置epoll触发模式：

int epollfd = epoll_create1(0);
struct epoll_event ev;
ev.events = EPOLLIN | EPOLLET; // 边缘触发模式
ev.data.fd = sockfd;
epoll_ctl(epollfd, EPOLL_CTL_ADD, sockfd, &ev);

1）水平触发（LT）

        在水平触发模式下，只要满足条件的事件仍然存在，epoll 就会重复通知这个事件。比如，如果一个文件描述符上有可读数据，那么只要没有读完，epoll_wait 就会不断报告该文件描述符是可读的。这种模式的特点是：

• 容错性较好，不易丢失事件。
• 更易于编程和理解。
• 可以用于多线程程序中，多个线程可以共享同一个 epoll 文件描述符。

2）边缘触发（ET）

        边缘触发模式下，事件只在状态变化时被通知一次，之后无论是否读完，也不会再次通知，直到状态再次发生变化才会再次触发。例如，只有当新数据到达使得文件描述符从非可读变为可读时，epoll_wait 才会报告可读事件。边缘触发模式的特点是：

• 效率更高，因为它减少了事件的重复通知。
• 需要更加小心地处理每次通知，确保处理所有的数据，否则可能会丢失未处理完的数据。
• 更适合单线程或者每个线程使用独立 epoll 文件描述符的场景。

若还不明白水平触发和边缘触发的差异，可以看下这篇文章的例子：

https://zhuanlan.zhihu.com/p/719987328

3.4 哪些 fd 可以用 epoll 来管理？

        由于并不是所有的 fd 对应的文件系统都实现了 poll 接口，所以自然并不是所有的 fd 都可以放进 epoll 池，那么有哪些文件系统的 file_operations 实现了 poll 接口？

最常见的就是网络套接字：socket 。网络也是 epoll 池最常见的应用地点。Linux 下万物皆文件，socket 实现了一套 socket_file_operations 的逻辑（ net/socket.c ）：

static const struct file_operations socket_file_ops = {
    .read_iter =    sock_read_iter,
    .write_iter =   sock_write_iter,    
    .poll =     sock_poll,    
    // ...
};