一.epoll函数解析
其本质是红黑树和链表
-
int epoll_create(int size);
作用：创建一个epoll红黑树
size：创建的红黑树的监听节点数量(仅供内核参考)
返回值：
成功–返回新创建的红黑树的根节点的fd；失败 -1 error -
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
作用：对epoll进行操作，ADD,MOD,DEL等
epfd：epoll_create函数的返回值 epfd
fd：待监听的fd
op：对该监听红黑树所要做的操作
EPOLL_CTL_ADD 添加fd到监听红黑树
EPOLL_CTL_MOD 修改fd在监听红黑树上的监听事件
EPOLL_CTL_DEL 将一个fd从监听红黑树上摘下(取消监听)
event：本质是 struct epoll_event 结构体地址
event结构体成员：
(1)events：EPOLLIN、EPOLLOUT、EPOLLERR
(2)data：联合体(内部： int fd：对应监听事件的fd ，void *ptr：泛型指针 )
返回值：
成功0，失败-1 error
3. int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);
作用：监听红黑树上节点的对应事件，以events作为传出参数，返回所有被监听到的文件描述符数组。
epfd：epoll_create函数的返回值 epfd
events：传出参数，一个数组[]，用于存放满足监听条件的那些fd结构体
maxevents：数组元素的总个数 struct epoll_event events[1024]
timeout：
-1：阻塞
0：不阻塞
>0：超时时间(毫秒)
返回值：
>0：满足监听的总个数，可以用作循环上限
0：没有fd满足监听的事件
-1：失败，error
二.epoll实现多路IO转接
核心思路
- socket()、bind()、listen() 初始化socket，返回lfd(监听所用socket)
- epoll_create创建红黑树，它的返回值就是树的根节点
- epoll_ctl将listenfd添加到树上
- 循环epoll_wait进行监听，它的返回值是满足监听的总个数，所以以它的返回值为遍历上限去判断事件
- 如果它返回的数组中data.fd等于lfd，那么就accept去连接客户端 并将新的cfd加入树中
- 如果不是lfd,就说明有读事件发生，就去判断读到的返回值，<0是出错 ==0是客户端关闭(这两个都要去将该cfd从树中移除 并close)，>0就处理数据然后写回
#include <stdio.h>
#include <ctype.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <errno.h>
#include <sys/epoll.h>
#include <fcntl.h>
#define OPEN_MAX 5000
#define SERVE_PORT 9527
int main()
{
// 所需要的变量
int lfd, cfd, efd, ret, wait_ret, i, sockfd, len;
char buf[1024];
// 地址结构体
struct sockaddr_in serve_addr, client_addr;
socklen_t client_addr_len;
serve_addr.sin_family = AF_INET; // IPV4
serve_addr.sin_port = htons(SERVE_PORT); // 绑定端口
serve_addr.sin_addr.s_addr = htonl(INADDR_ANY); // 绑定ip(ANY系统自动分配)
// 创建socket
lfd = socket(AF_INET, SOCK_STREAM, 0);
if (lfd < 0)
{
perror("socket error");
exit(1);
}
// bind绑定
bind(lfd, (struct sockaddr *)&serve_addr, sizeof(serve_addr));
// 设置上限
listen(lfd, 128);
// 创建红黑树
efd = epoll_create(1); // efd就是树的根节点
// 将lfd挂在树上
// epoll结构体 ep是epoll_wait所需的数组(存放满足事件的fd)
struct epoll_event tep, ep[128]; // tep是epoll_ctl的参数(传监听的事件)
tep.events = EPOLLIN;
tep.data.fd = lfd;
ret = epoll_ctl(efd, EPOLL_CTL_ADD, lfd, &tep);
if (ret < 0)
{
perror("epoll_ctl error");
exit(1);
}
// 循环去epoll_wait进行监听
while (1)
{
wait_ret = epoll_wait(efd, ep, 128, -1); // wait_ret就是实际满足事件的总个数
// 以wait_ret为上限去遍历事件
for (i = 0; i < wait_ret; i++)
{
// sockfd用于接收满足事件的fd
sockfd = ep[i].data.fd;
// 如果等于lfd,那就说明有客户端要来连接,就去accept
if (sockfd == lfd)
{
client_addr_len = sizeof(client_addr);
cfd = accept(lfd, (struct sockaddr *)&client_addr, &client_addr_len);
// 将cfd设置为非阻塞
int flag = fcntl(cfd, F_GETFL);
flag |= O_NONBLOCK;
fcntl(cfd, F_SETFL, flag);
// 把新的cfd加入树中
tep.events = EPOLLIN | EPOLLET;
tep.data.fd = cfd;
ret = epoll_ctl(efd, EPOLL_CTL_ADD, cfd, &tep);
if (ret < 0)
{
perror("epoll_ctl cfd error");
exit(1);
}
}
// 如果不是lfd,那就说明有读事件发生（读数据）
else
{
len = read(sockfd, buf, sizeof(buf));
if (len == 0) // 说明对方关闭连接(从树上摘下 & close)
{
epoll_ctl(efd, EPOLL_CTL_DEL, sockfd, NULL);
close(sockfd);
}
else if (len == -1)
{
perror("read error");
exit(1);
}
else // 读写数据
{
for (i = 0; i < len; i++)
buf[i] = toupper(buf[i]);
write(sockfd, buf, len);
write(STDIN_FILENO, buf, len);
}
}
}
}
return 0;
}
三.ET和LT模式
epoll是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率，因为它会复用文件描述符集合来传递结果而不用迫使开发者每次等待事件之前都必须重新准备要被侦听的文件描述符集合，另一点原因就是获取事件的时候，它无须遍历整个被侦听的描述符集，只要遍历那些被内核IO事件异步唤醒而加入Ready队列的描述符集合就行了。
EPOLL事件有两种模型：
1. ET边缘触发(event.events = EPOLLIN | EPOLLET)：只有数据到来才触发，不管缓存区中是否还有数据
● 使用边缘触发模式时，当被监控的 Socket 描述符上有可读事件发生时，服务器端只会从 epoll_wait 中苏醒一次，即使进程没有调用 read 函数从内核读取数据，也依然只苏醒一次，因此我们程序要保证一次性将内核缓冲区的数据读取完；
2. LT水平触发(默认 event.events = EPOLLIN)：只要有数据都会触发
● 使用水平触发模式时，当被监控的 Socket 上有可读事件发生时，服务器端不断地从 epoll_wait 中苏醒，直到内核缓冲区数据被 read 函数读完才结束，目的是告诉我们有数据需要读取；
ET模式：
边沿触发： 缓冲区剩余未读尽的数据不会导致 epoll_wait 返回。
新的事件满足，才会触发 struct
epoll_event event;
event.events = EPOLLIN | EPOLLET;
LT模式：
水平触发 – 默认采用模式。 缓冲区剩余未读尽的数据会导致 epoll_wait 返回。
举个例子，你的快递被放到了一个快递箱里，如果快递箱只会通过短信通知你一次，即使你一直没有去取，它也不会再发送第二条短信提醒你，这个方式就是边缘触发ET；
如果快递箱发现你的快递没有被取出，它就会不停地发短信通知你，直到你取出了快递，它才消停，这个就是水平触发LT。
这就是两者的区别，水平触发的意思是只要满足事件的条件，比如内核中有数据需要读，就一直不断地把这个事件传递给用户；而边缘触发的意思是只有第一次满足条件的时候才触发，之后就不会再传递同样的事件了。
一般来说，边缘触发的效率比水平触发的效率要高，因为边缘触发可以减少 epoll_wait 的系统调用次数
如果使用 epoll 的边缘模式进行读事件的检测，有新数据达到只会通知一次，那么必须要保证得到通知后将数据全部从读缓冲区中读出。那么，应该如何读这些数据呢？–>使用while忙轮询的方式，使用非阻塞读文件，read返回-1，且非错误返回时，代表缓冲区没有数据，此时退出循环，代表通信已经完成。
epoll 在边缘模式下，必须要将套接字设置为非阻塞模式
//将cfd设置为非阻塞
int flag = fcntl(cfd, F_GETFL);
flag |= O_NONBLOCK;
fcntl(cfd, F_SETFL, flag);
四.EPOLL反应堆模型
*核心：epoll ET模式+非阻塞+event结构体内void ptr的运用
event：本质是 struct epoll_event 结构体地址
events：EPOLLIN、EPOLLOUT、EPOLLERR
data：联合体
{
int fd：对应监听事件的fd
void *ptr：泛型指针，可以指向任何类型，所以说可以指向一个结构体，结构体里定义回调函数和对应监听事件的fd
}
反应堆的理解：
加入IO转接之后，有了事件，server才去处理，这里反应堆也是这样，由于网络环境复杂，服务器处理数据之后，如遇到网络繁忙或者对方缓冲区已经满了这种情况，就不能直接写回给客户端。所以需要对socket的读写都进行监听。
反应堆就是在处理数据之后，监听写事件，直到能写回客户端了，返回epoll_wait，才去做写回操作。写回之后，在改回监听读事件，以此循环
如下为libevent库的一部分经修改的源码，底层封装时就套用了epoll反应堆的模型，此内容了解能稍微看懂即可。
myevent_s结构体作为epoll_event内data的void*ptr的指向，用以封装fd和回调函数，这样无论是lfd(监听socket)，还是sfd(客户端socket)，都有自己所封装的回调函数，在触发epoll_wait时直接调用回调函数即可。
1./*
2. *epoll基于非阻塞I/O事件驱动
3. */
4.#include <stdio.h>
5.#include <sys/socket.h>
6.#include <sys/epoll.h>
7.#include <arpa/inet.h>
8.#include <fcntl.h>
9.#include <unistd.h>
10.#include <errno.h>
11.#include <string.h>
12.#include <stdlib.h>
13.#include <time.h>
14.
15.#define MAX_EVENTS 1024 //监听上限数
16.#define BUFLEN 4096
17.#define SERV_PORT 8080
18.
19.void recvdata(int fd, int events, void *arg);
20.void senddata(int fd, int events, void *arg);
21.
22./* 描述就绪文件描述符相关信息 */
23.
24.struct myevent_s {
25. int fd; //要监听的文件描述符
26. int events; //对应的监听事件
27. void *arg; //泛型参数
28. void (*call_back)(int fd, int events, void *arg); //回调函数
29. int status; //是否在监听:1->在红黑树上(监听), 0->不在(不监听)
30. char buf[BUFLEN];
31. int len;
32. long last_active; //记录每次加入红黑树 g_efd 的时间值
33.};
34.
35.int g_efd; //全局变量, 保存epoll_create返回的文件描述符
36.struct myevent_s g_events[MAX_EVENTS+1]; //自定义结构体类型数组. +1-->listen fd
37.
38.
39./*将结构体 myevent_s 成员变量 初始化*/
40.
41.void eventset(struct myevent_s *ev, int fd, void (*call_back)(int, int, void *), void *arg)
42.{
43. ev->fd = fd;
44. ev->call_back = call_back;
45. ev->events = 0;
46. ev->arg = arg;
47. ev->status = 0;
48. memset(ev->buf, 0, sizeof(ev->buf));
49. ev->len = 0;
50. ev->last_active = time(NULL); //调用eventset函数的时间
51.
52. return;
53.}
54.
55./* 向 epoll监听的红黑树 添加一个 文件描述符 */
56.
57.//eventadd(efd, EPOLLIN, &g_events[MAX_EVENTS]);
58.void eventadd(int efd, int events, struct myevent_s *ev)
59.{
60. struct epoll_event epv = {0, {0}};
61. int op;
62. epv.data.ptr = ev;
63. epv.events = ev->events = events; //EPOLLIN 或 EPOLLOUT
64.
65. if (ev->status == 0) { //已经在红黑树 g_efd 里
66. op = EPOLL_CTL_ADD; //将其加入红黑树 g_efd, 并将status置1
67. ev->status = 1;
68. }
69.
70. if (epoll_ctl(efd, op, ev->fd, &epv) < 0) //实际添加/修改
71. printf("event add failed [fd=%d], events[%d]\n", ev->fd, events);
72. else
73. printf("event add OK [fd=%d], op=%d, events[%0X]\n", ev->fd, op, events);
74.
75. return ;
76.}
77.
78./* 从epoll 监听的 红黑树中删除一个 文件描述符*/
79.
80.void eventdel(int efd, struct myevent_s *ev)
81.{
82. struct epoll_event epv = {0, {0}};
83.
84. if (ev->status != 1) //不在红黑树上
85. return ;
86.
87. //epv.data.ptr = ev;
88. epv.data.ptr = NULL;
89. ev->status = 0; //修改状态
90. epoll_ctl(efd, EPOLL_CTL_DEL, ev->fd, &epv); //从红黑树 efd 上将 ev->fd 摘除
91.
92. return ;
93.}
94.
95./* 当有文件描述符就绪, epoll返回, 调用该函数 与客户端建立链接 */
96.
97.void acceptconn(int lfd, int events, void *arg)
98.{
99. struct sockaddr_in cin;
100. socklen_t len = sizeof(cin);
101. int cfd, i;
102.
103. if ((cfd = accept(lfd, (struct sockaddr *)&cin, &len)) == -1) {
104. if (errno != EAGAIN && errno != EINTR) {
105. /* 暂时不做出错处理 */
106. }
107. printf("%s: accept, %s\n", __func__, strerror(errno));
108. return ;
109. }
110.
111. do {
112. for (i = 0; i < MAX_EVENTS; i++) //从全局数组g_events中找一个空闲元素
113. if (g_events[i].status == 0) //类似于select中找值为-1的元素
114. break; //跳出 for
115.
116. if (i == MAX_EVENTS) {
117. printf("%s: max connect limit[%d]\n", __func__, MAX_EVENTS);
118. break; //跳出do while(0) 不执行后续代码
119. }
120.
121. int flag = 0;
122. if ((flag = fcntl(cfd, F_SETFL, O_NONBLOCK)) < 0) { //将cfd也设置为非阻塞
123. printf("%s: fcntl nonblocking failed, %s\n", __func__, strerror(errno));
124. break;
125. }
126.
127. /* 给cfd设置一个 myevent_s 结构体, 回调函数 设置为 recvdata */
128. eventset(&g_events[i], cfd, recvdata, &g_events[i]);
129. eventadd(g_efd, EPOLLIN, &g_events[i]); //将cfd添加到红黑树g_efd中,监听读事件
130.
131. } while(0);
132.
133. printf("new connect [%s:%d][time:%ld], pos[%d]\n",
134. inet_ntoa(cin.sin_addr), ntohs(cin.sin_port), g_events[i].last_active, i);
135. return ;
136.}
137.
138.void recvdata(int fd, int events, void *arg)
139.{
140. struct myevent_s *ev = (struct myevent_s *)arg;
141. int len;
142.
143. len = recv(fd, ev->buf, sizeof(ev->buf), 0); //读文件描述符, 数据存入myevent_s成员buf中
144.
145. eventdel(g_efd, ev); //将该节点从红黑树上摘除
146.
147. if (len > 0) {
148.
149. ev->len = len;
150. ev->buf[len] = '\0'; //手动添加字符串结束标记
151. printf("C[%d]:%s\n", fd, ev->buf);
152.
153. eventset(ev, fd, senddata, ev); //设置该 fd 对应的回调函数为 senddata
154. eventadd(g_efd, EPOLLOUT, ev); //将fd加入红黑树g_efd中,监听其写事件
155.
156. } else if (len == 0) {
157. close(ev->fd);
158. /* ev-g_events 地址相减得到偏移元素位置 */
159. printf("[fd=%d] pos[%ld], closed\n", fd, ev-g_events);
160. } else {
161. close(ev->fd);
162. printf("recv[fd=%d] error[%d]:%s\n", fd, errno, strerror(errno));
163. }
164.
165. return;
166.}
167.
168.void senddata(int fd, int events, void *arg)
169.{
170. struct myevent_s *ev = (struct myevent_s *)arg;
171. int len;
172.
173. len = send(fd, ev->buf, ev->len, 0); //直接将数据 回写给客户端。未作处理
174.
175. eventdel(g_efd, ev); //从红黑树g_efd中移除
176.
177. if (len > 0) {
178.
179. printf("send[fd=%d], [%d]%s\n", fd, len, ev->buf);
180. eventset(ev, fd, recvdata, ev); //将该fd的 回调函数改为 recvdata
181. eventadd(g_efd, EPOLLIN, ev); //从新添加到红黑树上， 设为监听读事件
182.
183. } else {
184. close(ev->fd); //关闭链接
185. printf("send[fd=%d] error %s\n", fd, strerror(errno));
186. }
187.
188. return ;
189.}
190.
191./*创建 socket, 初始化lfd */
192.
193.void initlistensocket(int efd, short port)
194.{
195. struct sockaddr_in sin;
196.
197. int lfd = socket(AF_INET, SOCK_STREAM, 0);
198. fcntl(lfd, F_SETFL, O_NONBLOCK); //将socket设为非阻塞
199.
200. memset(&sin, 0, sizeof(sin)); //bzero(&sin, sizeof(sin))
201. sin.sin_family = AF_INET;
202. sin.sin_addr.s_addr = INADDR_ANY;
203. sin.sin_port = htons(port);
204.
205. bind(lfd, (struct sockaddr *)&sin, sizeof(sin));
206.
207. listen(lfd, 20);
208.
209. /* void eventset(struct myevent_s *ev, int fd, void (*call_back)(int, int, void *), void *arg); */
210. eventset(&g_events[MAX_EVENTS], lfd, acceptconn, &g_events[MAX_EVENTS]);
211.
212. /* void eventadd(int efd, int events, struct myevent_s *ev) */
213. eventadd(efd, EPOLLIN, &g_events[MAX_EVENTS]);
214.
215. return ;
216.}
217.
218.int main(int argc, char *argv[])
219.{
220. unsigned short port = SERV_PORT;
221.
222. if (argc == 2)
223. port = atoi(argv[1]); //使用用户指定端口.如未指定,用默认端口
224.
225. g_efd = epoll_create(MAX_EVENTS+1); //创建红黑树,返回给全局 g_efd
226. if (g_efd <= 0)
227. printf("create efd in %s err %s\n", __func__, strerror(errno));
228.
229. initlistensocket(g_efd, port); //初始化监听socket
230.
231. struct epoll_event events[MAX_EVENTS+1]; //保存已经满足就绪事件的文件描述符数组
232. printf("server running:port[%d]\n", port);
233.
234. int checkpos = 0, i;
235. while (1) {
236. /* 超时验证，每次测试100个链接，不测试listenfd 当客户端60秒内没有和服务器通信，则关闭此客户端链接 */
237.
238. long now = time(NULL); //当前时间
239. for (i = 0; i < 100; i++, checkpos++) { //一次循环检测100个。 使用checkpos控制检测对象
240. if (checkpos == MAX_EVENTS)
241. checkpos = 0;
242. if (g_events[checkpos].status != 1) //不在红黑树 g_efd 上
243. continue;
244.
245. long duration = now - g_events[checkpos].last_active; //客户端不活跃的世间
246.
247. if (duration >= 60) {
248. close(g_events[checkpos].fd); //关闭与该客户端链接
249. printf("[fd=%d] timeout\n", g_events[checkpos].fd);
250. eventdel(g_efd, &g_events[checkpos]); //将该客户端 从红黑树 g_efd移除
251. }
252. }
253.
254. /*监听红黑树g_efd, 将满足的事件的文件描述符加至events数组中, 1秒没有事件满足, 返回 0*/
255. int nfd = epoll_wait(g_efd, events, MAX_EVENTS+1, 1000);
256. if (nfd < 0) {
257. printf("epoll_wait error, exit\n");
258. break;
259. }
260.
261. for (i = 0; i < nfd; i++) {
262. /*使用自定义结构体myevent_s类型指针, 接收 联合体data的void *ptr成员*/
263. struct myevent_s *ev = (struct myevent_s *)events[i].data.ptr;
264.
265. if ((events[i].events & EPOLLIN) && (ev->events & EPOLLIN)) { //读就绪事件
266. ev->call_back(ev->fd, events[i].events, ev->arg);
267. //lfd EPOLLIN
268. }
269. if ((events[i].events & EPOLLOUT) && (ev->events & EPOLLOUT)) { //写就绪事件
270. ev->call_back(ev->fd, events[i].events, ev->arg);
271. }
272. }
273. }
274.
275. /* 退出前释放所有资源 */
276. return 0;
277.}
eventset和eventadd：前者用以初始化myevent_s，设置回调函数，后者用以设定event的ptr，将其指向已初始化好的myevent_s，然后将event挂到红黑树上。
eventdel：从红黑树上删除一个socket。
acceptconn：lfd的回调函数，用以实现accept接收请求，返回sfd。利用eventset和eventadd初始化sfd的myevent_s，设置回调函数，并将其挂到树上。
recvdata：sfd的回调函数，在读事件被监听到后，调用本函数，要实现读监听和写监听的切换。在读操作完成后，使用eventdel删除此socket节点，然后在回写前使用eventset和eventadd设置回调函数(senddata)，设置写监听，挂到树上。
senddata:sfd 的回调函数，在写操作被监听到后，表示socket可写，执行回写操作，完成后使用eventset和eventadd设置回调函数(recvdata)，设置读监听，挂到树上。
通过recvdata和senddata两个回调函数实现了读写监听之间的转换。
扫一扫
2339
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
