linux epoll機(jī)制詳解

在linux 沒(méi)有實(shí)現(xiàn)epoll事件驅(qū)動(dòng)機(jī)制之前，我們一般選擇用select或者poll等IO多路復(fù)用的方法來(lái)實(shí)現(xiàn)并發(fā)服務(wù)程序。在linux新的內(nèi)核中，有了一種替換它的機(jī)制，就是epoll。

select()和poll() IO多路復(fù)用模型

select的缺點(diǎn)：

1.單個(gè)進(jìn)程能夠監(jiān)視的文件描述符的數(shù)量存在最大限制，通常是1024，當(dāng)然可以更改數(shù)量，但由于select采用輪詢的方式掃描文件描述符，文件描述符數(shù)量越多，性能越差；(在linux內(nèi)核頭文件中，有這樣的定義：#define __FD_SETSIZE 1024)
2.內(nèi)核 / 用戶空間內(nèi)存拷貝問(wèn)題，select需要復(fù)制大量的句柄數(shù)據(jù)結(jié)構(gòu)，產(chǎn)生巨大的開(kāi)銷(xiāo)；
3.select返回的是含有整個(gè)句柄的數(shù)組，應(yīng)用程序需要遍歷整個(gè)數(shù)組才能發(fā)現(xiàn)哪些句柄發(fā)生了事件；
4.select的觸發(fā)方式是水平觸發(fā)，應(yīng)用程序如果沒(méi)有完成對(duì)一個(gè)已經(jīng)就緒的文件描述符進(jìn)行IO操作，那么之后每次select調(diào)用還是會(huì)將這些文件描述符通知進(jìn)程。

相比select模型，poll使用鏈表保存文件描述符，因此沒(méi)有了監(jiān)視文件數(shù)量的限制，但其他三個(gè)缺點(diǎn)依然存在。

假設(shè)我們的服務(wù)器需要支持100萬(wàn)的并發(fā)連接，則在__FD_SETSIZE 為1024的情況下，則我們至少需要開(kāi)辟1k個(gè)進(jìn)程才能實(shí)現(xiàn)100萬(wàn)的并發(fā)連接。除了進(jìn)程間上下文切換的時(shí)間消耗外，從內(nèi)核/用戶空間大量的無(wú)腦內(nèi)存拷貝、數(shù)組輪詢等，是系統(tǒng)難以承受的。因此，基于select模型的服務(wù)器程序，要達(dá)到10萬(wàn)級(jí)別的并發(fā)訪問(wèn)，是一個(gè)很難完成的任務(wù)。

epoll IO多路復(fù)用模型實(shí)現(xiàn)機(jī)制

由于epoll的實(shí)現(xiàn)機(jī)制與select/poll機(jī)制完全不同，上面所說(shuō)的 select的缺點(diǎn)在epoll上不復(fù)存在。

設(shè)想一下如下場(chǎng)景：有100萬(wàn)個(gè)客戶端同時(shí)與一個(gè)服務(wù)器進(jìn)程保持著TCP連接。而每一時(shí)刻，通常只有幾百上千個(gè)TCP連接是活躍的(事實(shí)上大部分場(chǎng)景都是這種情況)。如何實(shí)現(xiàn)這樣的高并發(fā)？

在select/poll時(shí)代，服務(wù)器進(jìn)程每次都把這100萬(wàn)個(gè)連接告訴操作系統(tǒng)(從用戶態(tài)復(fù)制句柄數(shù)據(jù)結(jié)構(gòu)到內(nèi)核態(tài))，讓操作系統(tǒng)內(nèi)核去查詢這些套接字上是否有事件發(fā)生，輪詢完后，再將句柄數(shù)據(jù)復(fù)制到用戶態(tài)，讓服務(wù)器應(yīng)用程序輪詢處理已發(fā)生的網(wǎng)絡(luò)事件，這一過(guò)程資源消耗較大，因此，select/poll一般只能處理幾千的并發(fā)連接。

epoll的設(shè)計(jì)和實(shí)現(xiàn)與select完全不同。epoll通過(guò)在Linux內(nèi)核中申請(qǐng)一個(gè)簡(jiǎn)易的文件系統(tǒng)(文件系統(tǒng)一般用什么數(shù)據(jù)結(jié)構(gòu)實(shí)現(xiàn)？B+樹(shù))。把原先的select/poll調(diào)用分成了3個(gè)部分：

1）調(diào)用epoll_create()建立一個(gè)epoll對(duì)象(在epoll文件系統(tǒng)中為這個(gè)句柄對(duì)象分配資源)

2）調(diào)用epoll_ctl向epoll對(duì)象中添加這100萬(wàn)個(gè)連接的套接字

3）調(diào)用epoll_wait收集發(fā)生的事件的連接

如此一來(lái)，要實(shí)現(xiàn)上面說(shuō)是的場(chǎng)景，只需要在進(jìn)程啟動(dòng)時(shí)建立一個(gè)epoll對(duì)象，然后在需要的時(shí)候向這個(gè)epoll對(duì)象中添加或者刪除連接。同時(shí)，epoll_wait的效率也非常高，因?yàn)檎{(diào)用epoll_wait時(shí)，并沒(méi)有一股腦的向操作系統(tǒng)復(fù)制這100萬(wàn)個(gè)連接的句柄數(shù)據(jù)，內(nèi)核也不需要去遍歷全部的連接。

epoll實(shí)現(xiàn)機(jī)制

當(dāng)某一進(jìn)程調(diào)用epoll_create方法時(shí)，Linux內(nèi)核會(huì)創(chuàng)建一個(gè)eventpoll結(jié)構(gòu)體，這個(gè)結(jié)構(gòu)體中有兩個(gè)成員與epoll的使用方式密切相關(guān)。eventpoll結(jié)構(gòu)體如下所示：

struct eventpoll{
 ....
 /*紅黑樹(shù)的根節(jié)點(diǎn)，這顆樹(shù)中存儲(chǔ)著所有添加到epoll中的需要監(jiān)控的事件*/
 struct rb_root rbr;
 /*雙鏈表中則存放著將要通過(guò)epoll_wait返回給用戶的滿足條件的事件*/
 struct list_head rdlist;
 ....
};

每一個(gè)epoll對(duì)象都有一個(gè)獨(dú)立的eventpoll結(jié)構(gòu)體，用于存放通過(guò)epoll_ctl方法向epoll對(duì)象中添加進(jìn)來(lái)的事件。這些事件都會(huì)掛載在紅黑樹(shù)中，如此，重復(fù)添加的事件就可以通過(guò)紅黑樹(shù)而高效的識(shí)別出來(lái)(紅黑樹(shù)的插入時(shí)間效率是lgn，其中n為樹(shù)的高度)。

而所有添加到epoll中的事件都會(huì)與設(shè)備(網(wǎng)卡)驅(qū)動(dòng)程序建立回調(diào)關(guān)系，也就是說(shuō)，當(dāng)相應(yīng)的事件發(fā)生時(shí)會(huì)調(diào)用這個(gè)回調(diào)方法。這個(gè)回調(diào)方法在內(nèi)核中叫ep_poll_callback,它會(huì)將發(fā)生的事件添加到rdlist雙鏈表中。

在epoll中，對(duì)于每一個(gè)事件，都會(huì)建立一個(gè)epitem結(jié)構(gòu)體，如下所示：

struct epitem{
 struct rb_node rbn;//紅黑樹(shù)節(jié)點(diǎn)
 struct list_head rdllink;//雙向鏈表節(jié)點(diǎn)
 struct epoll_filefd ffd; //事件句柄信息
 struct eventpoll *ep; //指向其所屬的eventpoll對(duì)象
 struct epoll_event event; //期待發(fā)生的事件類(lèi)型
}

當(dāng)調(diào)用epoll_wait檢查是否有事件發(fā)生時(shí)，只需要檢查eventpoll對(duì)象中的rdlist雙鏈表中是否有epitem元素即可。如果rdlist不為空，則把發(fā)生的事件復(fù)制到用戶態(tài)，同時(shí)將事件數(shù)量返回給用戶。

通過(guò)紅黑樹(shù)和雙鏈表數(shù)據(jù)結(jié)構(gòu)，并結(jié)合回調(diào)機(jī)制，造就了epoll的高效。

epoll的接口

1.epoll_create

創(chuàng)建epoll句柄
函數(shù)聲明：int epoll_create(int size)

參數(shù)：size用來(lái)告訴內(nèi)核這個(gè)監(jiān)聽(tīng)的數(shù)目一共有多大。
返回值：返回創(chuàng)建了的epoll句柄。
當(dāng)創(chuàng)建好epoll句柄后，它就是會(huì)占用一個(gè)fd值，在linux下如果查看/proc/進(jìn)程id/fd/，是能夠看到這個(gè)fd的，所以在使用完epoll后，必須調(diào)用close()關(guān)閉，否則可能導(dǎo)致fd被耗盡。

2.epoll_ctl

將被監(jiān)聽(tīng)的描述符添加到epoll句柄或從epool句柄中刪除或者對(duì)監(jiān)聽(tīng)事件進(jìn)行修改。
函數(shù)申明：int epoll_ctl(int epfd, int op, int fd, struct epoll_event*event);

參數(shù)：
epfd： epoll_create()的返回值
op：表示要進(jìn)行的操作，其值分別為：
EPOLL_CTL_ADD： 注冊(cè)新的fd到epfd中；
EPOLL_CTL_MOD： 修改已經(jīng)注冊(cè)的fd的監(jiān)聽(tīng)事件；
EPOLL_CTL_DEL： 從epfd中刪除一個(gè)fd；
fd：需要操作/監(jiān)聽(tīng)的文件句柄
event：是告訴內(nèi)核需要監(jiān)聽(tīng)什么事件，struct epoll_event如下：

typedef union epoll_data { 
void *ptr; 
int fd; 
__uint32_t u32; 
__uint64_t u64; 
} epoll_data_t; 

struct epoll_event { 
__uint32_t events; /* Epoll events */ 
epoll_data_t data; /* User data variable */ 
}; 

events可以是以下幾個(gè)宏的集合：

EPOLLIN：觸發(fā)該事件，表示對(duì)應(yīng)的文件描述符上有可讀數(shù)據(jù)。(包括對(duì)端SOCKET正常關(guān)閉)；
EPOLLOUT：觸發(fā)該事件，表示對(duì)應(yīng)的文件描述符上可以寫(xiě)數(shù)據(jù)；
EPOLLPRI：表示對(duì)應(yīng)的文件描述符有緊急的數(shù)據(jù)可讀（這里應(yīng)該表示有帶外數(shù)據(jù)到來(lái)）；
EPOLLERR：表示對(duì)應(yīng)的文件描述符發(fā)生錯(cuò)誤；
EPOLLHUP： 表示對(duì)應(yīng)的文件描述符被掛斷；
EPOLLET：將EPOLL設(shè)為邊緣觸發(fā)(EdgeTriggered)模式，這是相對(duì)于水平觸發(fā)(Level Triggered)來(lái)說(shuō)的。
EPOLLONESHOT： 只監(jiān)聽(tīng)一次事件，當(dāng)監(jiān)聽(tīng)完這次事件之后，如果還需要繼續(xù)監(jiān)聽(tīng)這個(gè)socket的話，需要再次把這個(gè)socket加入到EPOLL隊(duì)列里。

示例：

struct epoll_event ev;
//設(shè)置與要處理的事件相關(guān)的文件描述符
ev.data.fd=listenfd;
//設(shè)置要處理的事件類(lèi)型
ev.events=EPOLLIN|EPOLLET;
//注冊(cè)epoll事件
epoll_ctl(epfd,EPOLL_CTL_ADD,listenfd,&ev);

1.epoll_wait

等侍注冊(cè)在epfd上的socket fd的事件的發(fā)生，如果發(fā)生則將發(fā)生的sokct fd和事件類(lèi)型放入到events數(shù)組中。
函數(shù)原型：int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);


參數(shù)：
epfd：由epoll_create 生成的epoll文件描述符
events：用于回傳代處理事件的數(shù)組
maxevents：每次能處理的最大事件數(shù)
timeout：等待I/O事件發(fā)生的超時(shí)毫秒數(shù)，-1相當(dāng)于阻塞，0相當(dāng)于非阻塞。一般用-1即可

epoll的工作模式

ET(EdgeTriggered):高速工作模式，只支持no_block(非阻塞模式)。在此模式下，當(dāng)描述符從未就緒變?yōu)榫途w時(shí)，內(nèi)核通過(guò)epoll告知。然后它會(huì)假設(shè)用戶知道文件描述符已經(jīng)就緒，并且不會(huì)再為那個(gè)文件描述符發(fā)送更多的就緒通知，直到某些操作導(dǎo)致那個(gè)文件描述符不再為就緒狀態(tài)了。(觸發(fā)模式只在數(shù)據(jù)就緒時(shí)通知一次，若數(shù)據(jù)沒(méi)有讀完，下一次不會(huì)通知，直到有新的就緒數(shù)據(jù))

LT(LevelTriggered):缺省工作方式，支持blocksocket和no_blocksocket。在LT模式下內(nèi)核會(huì)告知一個(gè)文件描述符是否就緒了，然后可以對(duì)這個(gè)就緒的fd進(jìn)行IO操作。如果不作任何操作，內(nèi)核還是會(huì)繼續(xù)通知！若數(shù)據(jù)沒(méi)有讀完，內(nèi)核也會(huì)繼續(xù)通知，直至設(shè)備數(shù)據(jù)為空為止！

示例說(shuō)明：

1.我們已經(jīng)把一個(gè)用來(lái)從管道中讀取數(shù)據(jù)的文件句柄(RFD)添加到epoll描述符
2. 這個(gè)時(shí)候從管道的另一端被寫(xiě)入了2KB的數(shù)據(jù)
3. 調(diào)用epoll_wait(2)，并且它會(huì)返回RFD，說(shuō)明它已經(jīng)準(zhǔn)備好讀取操作
4. 然后我們讀取了1KB的數(shù)據(jù)
5. 調(diào)用epoll_wait(2)……

ET工作模式：

如果我們?cè)诘?步將RFD添加到epoll描述符的時(shí)候使用了EPOLLET標(biāo)志，在第2步執(zhí)行了一個(gè)寫(xiě)操作，第三步epoll_wait會(huì)返回同時(shí)通知的事件會(huì)銷(xiāo)毀。因?yàn)榈?步的讀取操作沒(méi)有讀空文件輸入緩沖區(qū)內(nèi)的數(shù)據(jù)，因此我們?cè)诘?步調(diào)用epoll_wait(2)完成后，是否掛起是不確定的。epoll工作在ET模式的時(shí)候，必須使用非阻塞套接口，以避免由于一個(gè)文件句柄的阻塞讀/阻塞寫(xiě)操作把處理多個(gè)文件描述符的任務(wù)餓死。

只有當(dāng)read(2)或者write(2)返回EAGAIN時(shí)(認(rèn)為讀完)才需要掛起，等待。但這并不是說(shuō)每次read()時(shí)都需要循環(huán)讀，直到讀到產(chǎn)生一個(gè)EAGAIN才認(rèn)為此次事件處理完成，當(dāng)read()返回的讀到的數(shù)據(jù)長(zhǎng)度小于請(qǐng)求的數(shù)據(jù)長(zhǎng)度時(shí)(即小于sizeof(buf))，就可以確定此時(shí)緩沖中已沒(méi)有數(shù)據(jù)了，也就可以認(rèn)為此事讀事件已處理完成。

LT工作模式：

LT方式調(diào)用epoll接口的時(shí)候，它就相當(dāng)于一個(gè)速度比較快的poll(2)，并且無(wú)論后面的數(shù)據(jù)是否被使用，因此他們具有同樣的職能。

示例

/*
* file epollTest.c
*/
#include <stdio.h> 
#include <stdlib.h> 
#include <unistd.h> 
#include <errno.h> 
#include <sys/socket.h> 
#include <netdb.h> 
#include <fcntl.h> 
#include <sys/epoll.h> 
#include <string.h> 

#define MAXEVENTS 64 

//函數(shù): 
//功能:創(chuàng)建和綁定一個(gè)TCP socket 
//參數(shù):端口 
//返回值:創(chuàng)建的socket 
static int 
create_and_bind (char *port) 
{ 
 struct addrinfo hints; 
 struct addrinfo *result, *rp; 
 int s, sfd; 

 memset (&hints, 0, sizeof (struct addrinfo)); 
 hints.ai_family = AF_UNSPEC;  /* Return IPv4 and IPv6 choices */ 
 hints.ai_socktype = SOCK_STREAM; /* We want a TCP socket */ 
 hints.ai_flags = AI_PASSIVE;  /* All interfaces */ 

 s = getaddrinfo (NULL, port, &hints, &result); 
 if (s != 0) 
 { 
  fprintf (stderr, "getaddrinfo: %s\n", gai_strerror (s)); 
  return -1; 
 } 

 for (rp = result; rp != NULL; rp = rp->ai_next) 
 { 
  sfd = socket (rp->ai_family, rp->ai_socktype, rp->ai_protocol); 
  if (sfd == -1) 
  continue; 

  s = bind (sfd, rp->ai_addr, rp->ai_addrlen); 
  if (s == 0) 
  { 
   /* We managed to bind successfully! */ 
   break; 
  } 

  close (sfd); 
 } 

 if (rp == NULL) 
 { 
  fprintf (stderr, "Could not bind\n"); 
  return -1; 
 } 

 freeaddrinfo (result); 

 return sfd; 
} 


//函數(shù) 
//功能:設(shè)置socket為非阻塞的 
static int 
make_socket_non_blocking (int sfd) 
{ 
 int flags, s; 

 //得到文件狀態(tài)標(biāo)志 
 flags = fcntl (sfd, F_GETFL, 0); 
 if (flags == -1) 
 { 
  perror ("fcntl"); 
  return -1; 
 } 

 //設(shè)置文件狀態(tài)標(biāo)志 
 flags |= O_NONBLOCK; 
 s = fcntl (sfd, F_SETFL, flags); 
 if (s == -1) 
 { 
  perror ("fcntl"); 
  return -1; 
 } 

 return 0; 
} 

//端口由參數(shù)argv[1]指定 
int 
main (int argc, char *argv[]) 
{ 
 int sfd, s; 
 int efd; 
 struct epoll_event event; 
 struct epoll_event *events; 

 if (argc != 2) 
 { 
  fprintf (stderr, "Usage: %s [port]\n", argv[0]); 
  exit (EXIT_FAILURE); 
 } 

 sfd = create_and_bind (argv[1]); 
 if (sfd == -1) 
 abort (); 

 s = make_socket_non_blocking (sfd); 
 if (s == -1) 
 abort (); 

 s = listen (sfd, SOMAXCONN); 
 if (s == -1) 
 { 
  perror ("listen"); 
  abort (); 
 } 

 //除了參數(shù)size被忽略外,此函數(shù)和epoll_create完全相同 
 efd = epoll_create1 (0); 
 if (efd == -1) 
 { 
  perror ("epoll_create"); 
  abort (); 
 } 

 event.data.fd = sfd; 
 event.events = EPOLLIN | EPOLLET;//讀入,邊緣觸發(fā)方式 
 s = epoll_ctl (efd, EPOLL_CTL_ADD, sfd, &event); 
 if (s == -1) 
 { 
  perror ("epoll_ctl"); 
  abort (); 
 } 

 /* Buffer where events are returned */ 
 events = calloc (MAXEVENTS, sizeof event); 

 /* The event loop */ 
 while (1) 
 { 
  int n, i; 

  n = epoll_wait (efd, events, MAXEVENTS, -1); 
  for (i = 0; i < n; i++) 
  { 
   if ((events[i].events & EPOLLERR) || 
    (events[i].events & EPOLLHUP) || 
    (!(events[i].events & EPOLLIN))) 
   { 
    /* An error has occured on this fd, or the socket is not 
     ready for reading (why were we notified then?) */ 
    fprintf (stderr, "epoll error\n"); 
    close (events[i].data.fd); 
    continue; 
   } 

   else if (sfd == events[i].data.fd) 
   { 
    /* We have a notification on the listening socket, which 
     means one or more incoming connections. */ 
    while (1) 
    { 
     struct sockaddr in_addr; 
     socklen_t in_len; 
     int infd; 
     char hbuf[NI_MAXHOST], sbuf[NI_MAXSERV]; 

     in_len = sizeof in_addr; 
     infd = accept (sfd, &in_addr, &in_len); 
     if (infd == -1) 
     { 
      if ((errno == EAGAIN) || 
       (errno == EWOULDBLOCK)) 
      { 
       /* We have processed all incoming 
        connections. */ 
       break; 
      } 
      else 
      { 
       perror ("accept"); 
       break; 
      } 
     } 

         //將地址轉(zhuǎn)化為主機(jī)名或者服務(wù)名 
     s = getnameinfo (&in_addr, in_len, 
         hbuf, sizeof hbuf, 
         sbuf, sizeof sbuf, 
         NI_NUMERICHOST | NI_NUMERICSERV);//flag參數(shù):以數(shù)字名返回 
         //主機(jī)地址和服務(wù)地址 

     if (s == 0) 
     { 
      printf("Accepted connection on descriptor %d " 
        "(host=%s, port=%s)\n", infd, hbuf, sbuf); 
     } 

     /* Make the incoming socket non-blocking and add it to the 
      list of fds to monitor. */ 
     s = make_socket_non_blocking (infd); 
     if (s == -1) 
     abort (); 

     event.data.fd = infd; 
     event.events = EPOLLIN | EPOLLET; 
     s = epoll_ctl (efd, EPOLL_CTL_ADD, infd, &event); 
     if (s == -1) 
     { 
      perror ("epoll_ctl"); 
      abort (); 
     } 
    } 
    continue; 
   } 
   else 
   { 
    /* We have data on the fd waiting to be read. Read and 
     display it. We must read whatever data is available 
     completely, as we are running in edge-triggered mode 
     and won't get a notification again for the same 
     data. */ 
    int done = 0; 

    while (1) 
    { 
     ssize_t count; 
     char buf[512]; 

     count = read (events[i].data.fd, buf, sizeof(buf)); 
     if (count == -1) 
     { 
      /* If errno == EAGAIN, that means we have read all 
       data. So go back to the main loop. */ 
      if (errno != EAGAIN) 
      { 
       perror ("read"); 
       done = 1; 
      } 
      break; 
     } 
     else if (count == 0) 
     { 
      /* End of file. The remote has closed the 
       connection. */ 
      done = 1; 
      break; 
     } 

     /* Write the buffer to standard output */ 
     s = write (1, buf, count); 
     if (s == -1) 
     { 
      perror ("write"); 
      abort (); 
     } 
    } 

    if (done) 
    { 
     printf ("Closed connection on descriptor %d\n", 
       events[i].data.fd); 

     /* Closing the descriptor will make epoll remove it 
      from the set of descriptors which are monitored. */ 
     close (events[i].data.fd); 
    } 
   } 
  } 
 } 

 free (events); 

 close (sfd); 

 return EXIT_SUCCESS; 
}

代碼編譯后，./epollTest 8888 ,在另外一個(gè)終端中執(zhí)行
telnet 192.168.1.161 8888 ，192.168.1.161為執(zhí)行測(cè)試程序的ip。在telnet終端敲入任何字符敲入Enter后，會(huì)在測(cè)試終端顯示敲入的字符。

總結(jié)

以上就是本文關(guān)于linux epoll機(jī)制詳解的全部?jī)?nèi)容，希望對(duì)大家有所幫助。感興趣的朋友可以繼續(xù)參閱本站其他相關(guān)專(zhuān)題，如有不足之處，歡迎留言指出。感謝朋友們對(duì)本站的支持！