epoll 是 Linux 高併發服務器的核心基石。本文從基本概念出發,梳理 epoll 的三個核心接口、兩種觸發模式,並附上一份可運行的 echo 服務器與客戶端實現。
epoll 是在 Linux 2.6 內核中引入的,是 select 和 poll 的增強版本。相比前兩者,epoll 更加靈活,沒有文件描述符數量限制。它使用一個文件描述符來管理多個描述符,把用戶關心的文件描述符事件存放到內核中的一個事件表裡,這樣在用戶空間和內核空間之間只需一次拷貝。
select 的瓶頸在於每次調用都要把整個 fd 集合從用戶空間拷進內核,且默認最大支持 1024 個 fd;epoll 則通過 epoll_ctl 提前註冊、內核通過紅黑樹維護,把「每次傳遞集合」變成了「一次註冊、多次等待」,這是它高效的根本原因。
#include <sys/epoll.h> int epoll_create(int size); int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event); int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);
int epoll_create(int size);
創建一個 epoll 句柄,size 用來告訴內核這個監聽的數目一共有多大。這個參數不同於 select() 的第一個參數(後者要給出最大監聽 fd + 1 的值)。
需要注意的是,創建好 epoll 句柄後,它本身也會佔用一個 fd 值——在 Linux 下查看 /proc/進程id/fd/ 就能看到。因此使用完 epoll 後必須調用 close() 關閉,否則可能導致 fd 被耗盡。
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
epoll 的事件註冊函數。它與 select 的區別在於:select 是在每次監聽時才告訴內核要監聽什麼類型的事件,而 epoll 是提前註冊要監聽的事件類型,後續 epoll_wait 不必重複傳遞。
第一個參數是 epoll_create() 的返回值;第二個參數表示動作,用三個宏表示:
· EPOLL_CTL_ADD:註冊新的 fd 到 epfd 中;
· EPOLL_CTL_MOD:修改已經註冊的 fd 的監聽事件;
· EPOLL_CTL_DEL:從 epfd 中刪除一個 fd。
第三個參數是需要監聽的 fd,第四個參數告訴內核需要監聽什麼事件。epoll_event 結構如下:
struct epoll_event {
__uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
};
events 可以是以下幾個宏的集合:
· EPOLLIN:對應的文件描述符可讀(包括對端 socket 正常關閉);
· EPOLLOUT:對應的文件描述符可寫;
· EPOLLPRI:有緊急數據可讀(帶外數據到來);
· EPOLLERR:對應的文件描述符發生錯誤;
· EPOLLHUP:對應的文件描述符被掛斷;
· EPOLLET:設置為邊緣觸發(Edge Triggered)模式,相對於水平觸發(Level Triggered)而言;
· EPOLLONESHOT:只監聽一次事件,之後若還需繼續監聽該 socket,必須重新加入 EPOLL 隊列。
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);
等待事件產生,用法類似 select()。參數 events 用來從內核取得事件的集合;maxevents 告訴內核這個 events 數組有多大,其值不能大於 epoll_create 時的 size;timeout 是超時時間(毫秒,0 表示立即返回,-1 表示阻塞直到有事件)。函數返回需要處理的事件數目,返回 0 表示已超時。
epoll 對文件描述符的操作有兩種模式:LT(level trigger,水平觸發)和 ET(edge trigger,邊緣觸發)。LT 是默認模式,兩者的差別如下:
LT 模式:當 epoll_wait 檢測到描述符事件發生並通知應用程序後,應用程序可以不立即處理該事件。下次調用 epoll_wait 時,只要事件仍然存在,還會再次通知應用程序。
ET 模式:當 epoll_wait 檢測到事件並通知應用程序後,應用程序必須立即處理。如果不處理,下次調用 epoll_wait 時不會再次通知。
ET 模式在很大程度上減少了 epoll 事件被重複觸發的次數,因此效率比 LT 更高。但代價是編程難度上升:epoll 工作在 ET 模式時,必須使用非阻塞套接字,並且要在一次回調中循環 read / write 直到返回 EAGAIN,否則某個 fd 的阻塞讀寫會把處理其他描述符的任務整體餓死。
下面是一個基於 epoll 的回射(echo)服務器:
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <errno.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <sys/epoll.h>
#define IPADDRESS "127.0.0.1"
#define PORT 8787
#define MAXSIZE 1024
#define LISTENQ 5
#define FDSIZE 1000
#define EPOLLEVENTS 100
// 函數聲明
static int socket_bind(const char *ip, int port);
static void do_epoll(int listenfd);
static void handle_events(int epollfd, struct epoll_event *events, int num, int listenfd, char *buf);
static void handle_accept(int epollfd, int listenfd);
static void do_read(int epollfd, int fd, char *buf);
static void do_write(int epollfd, int fd, char *buf);
static void add_event(int epollfd, int fd, int state);
static void modify_event(int epollfd, int fd, int state);
static void delete_event(int epollfd, int fd, int state);
int main(int argc, char *argv[])
{
int listenfd = socket_bind(IPADDRESS, PORT);
listen(listenfd, LISTENQ);
do_epoll(listenfd);
return 0;
}
static int socket_bind(const char *ip, int port)
{
int listenfd;
struct sockaddr_in servaddr;
listenfd = socket(AF_INET, SOCK_STREAM, 0);
if (listenfd == -1) {
perror("socket error:");
exit(1);
}
bzero(&servaddr, sizeof(servaddr));
servaddr.sin_family = AF_INET;
inet_pton(AF_INET, ip, &servaddr.sin_addr);
servaddr.sin_port = htons(port);
if (bind(listenfd, (struct sockaddr*)&servaddr, sizeof(servaddr)) == -1) {
perror("bind error:");
exit(1);
}
return listenfd;
}
static void do_epoll(int listenfd)
{
int epollfd;
struct epoll_event events[EPOLLEVENTS];
int ret;
char buf[MAXSIZE];
memset(buf, 0, MAXSIZE);
// 創建 epoll 描述符
epollfd = epoll_create(FDSIZE);
// 添加監聽描述符事件
add_event(epollfd, listenfd, EPOLLIN);
for ( ; ; ) {
// 獲取已經就緒的描述符事件
ret = epoll_wait(epollfd, events, EPOLLEVENTS, -1);
handle_events(epollfd, events, ret, listenfd, buf);
}
close(epollfd);
}
static void handle_events(int epollfd, struct epoll_event *events, int num, int listenfd, char *buf)
{
int i;
int fd;
// 遍歷就緒的事件
for (i = 0; i < num; i++) {
fd = events[i].data.fd;
// 根據描述符類型與事件類型分派處理
if ((fd == listenfd) && (events[i].events & EPOLLIN))
handle_accept(epollfd, listenfd);
else if (events[i].events & EPOLLIN)
do_read(epollfd, fd, buf);
else if (events[i].events & EPOLLOUT)
do_write(epollfd, fd, buf);
}
}
static void handle_accept(int epollfd, int listenfd)
{
int clifd;
struct sockaddr_in cliaddr;
socklen_t cliaddrlen = sizeof(cliaddr);
clifd = accept(listenfd, (struct sockaddr*)&cliaddr, &cliaddrlen);
if (clifd == -1) {
perror("accept error:");
} else {
printf("accept a new client: %s:%d\n", inet_ntoa(cliaddr.sin_addr), cliaddr.sin_port);
// 添加客戶描述符及其監聽事件
add_event(epollfd, clifd, EPOLLIN);
}
}
static void do_read(int epollfd, int fd, char *buf)
{
int nread;
nread = read(fd, buf, MAXSIZE);
if (nread == -1) {
perror("read error:");
close(fd);
delete_event(epollfd, fd, EPOLLIN);
} else if (nread == 0) {
fprintf(stderr, "client close.\n");
close(fd);
delete_event(epollfd, fd, EPOLLIN);
} else {
printf("read message is : %s", buf);
// 修改該描述符的事件,由讀改為寫
modify_event(epollfd, fd, EPOLLOUT);
}
}
static void do_write(int epollfd, int fd, char *buf)
{
int nwrite;
nwrite = write(fd, buf, strlen(buf));
if (nwrite == -1) {
perror("write error:");
close(fd);
delete_event(epollfd, fd, EPOLLOUT);
} else {
modify_event(epollfd, fd, EPOLLIN);
}
memset(buf, 0, MAXSIZE);
}
static void add_event(int epollfd, int fd, int state)
{
struct epoll_event ev;
ev.events = state;
ev.data.fd = fd;
epoll_ctl(epollfd, EPOLL_CTL_ADD, fd, &ev);
}
static void delete_event(int epollfd, int fd, int state)
{
struct epoll_event ev;
ev.events = state;
ev.data.fd = fd;
epoll_ctl(epfd, EPOLL_CTL_DEL, fd, &ev);
}
static void modify_event(int epollfd, int fd, int state)
{
struct epoll_event ev;
ev.events = state;
ev.data.fd = fd;
epoll_ctl(epollfd, EPOLL_CTL_MOD, fd, &ev);
}
客戶端同樣用 epoll 實現,同時監管 STDIN_FILENO、STDOUT_FILENO 和 sockfd 三個描述符:
#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <unistd.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <sys/epoll.h>
#define MAXSIZE 1024
#define IPADDRESS "127.0.0.1"
#define SERV_PORT 8787
#define FDSIZE 1024
#define EPOLLEVENTS 20
static void handle_connection(int sockfd);
static void handle_events(int epollfd, struct epoll_event *events, int num, int sockfd, char *buf);
static void do_read(int epollfd, int fd, int sockfd, char *buf);
static void do_write(int epollfd, int fd, int sockfd, char *buf);
static void add_event(int epollfd, int fd, int state);
static void delete_event(int epollfd, int fd, int state);
static void modify_event(int epollfd, int fd, int state);
int main(int argc, char *argv[])
{
int sockfd;
struct sockaddr_in servaddr;
sockfd = socket(AF_INET, SOCK_STREAM, 0);
bzero(&servaddr, sizeof(servaddr));
servaddr.sin_family = AF_INET;
servaddr.sin_port = htons(SERV_PORT);
inet_pton(AF_INET, IPADDRESS, &servaddr.sin_addr);
connect(sockfd, (struct sockaddr*)&servaddr, sizeof(servaddr));
handle_connection(sockfd);
close(sockfd);
return 0;
}
static void handle_connection(int sockfd)
{
int epollfd;
struct epoll_event events[EPOLLEVENTS];
char buf[MAXSIZE];
int ret;
epollfd = epoll_create(FDSIZE);
add_event(epollfd, STDIN_FILENO, EPOLLIN);
for ( ; ; ) {
ret = epoll_wait(epollfd, events, EPOLLEVENTS, -1);
handle_events(epollfd, events, ret, sockfd, buf);
}
close(epollfd);
}
static void handle_events(int epollfd, struct epoll_event *events, int num, int sockfd, char *buf)
{
int fd;
int i;
for (i = 0; i < num; i++) {
fd = events[i].data.fd;
if (events[i].events & EPOLLIN)
do_read(epollfd, fd, sockfd, buf);
else if (events[i].events & EPOLLOUT)
do_write(epollfd, fd, sockfd, buf);
}
}
static void do_read(int epollfd, int fd, int sockfd, char *buf)
{
int nread;
nread = read(fd, buf, MAXSIZE);
if (nread == -1) {
perror("read error:");
close(fd);
} else if (nread == 0) {
fprintf(stderr, "server close.\n");
close(fd);
} else {
if (fd == STDIN_FILENO) {
// 鍵盤有輸入,準備往 socket 寫
add_event(epollfd, sockfd, EPOLLOUT);
} else {
// socket 有數據,準備往 stdout 寫
delete_event(epollfd, sockfd, EPOLLIN);
add_event(epollfd, STDOUT_FILENO, EPOLLOUT);
}
}
}
static void do_write(int epollfd, int fd, int sockfd, char *buf)
{
int nwrite;
nwrite = write(fd, buf, strlen(buf));
if (nwrite == -1) {
perror("write error:");
close(fd);
} else {
if (fd == STDOUT_FILENO)
delete_event(epollfd, fd, EPOLLOUT);
else
modify_event(epollfd, fd, EPOLLIN);
}
memset(buf, 0, MAXSIZE);
}
static void add_event(int epollfd, int fd, int state)
{
struct epoll_event ev;
ev.events = state;
ev.data.fd = fd;
epoll_ctl(epollfd, EPOLL_CTL_ADD, fd, &ev);
}
static void delete_event(int epollfd, int fd, int state)
{
struct epoll_event ev;
ev.events = state;
ev.data.fd = fd;
epoll_ctl(epollfd, EPOLL_CTL_DEL, fd, &ev);
}
static void modify_event(int epollfd, int fd, int state)
{
struct epoll_event ev;
ev.events = state;
ev.data.fd = fd;
epoll_ctl(epollfd, EPOLL_CTL_MOD, fd, &ev);
}
· epoll 句柄用完務必 close,否則 fd 洩露。
· 客戶端 fd 關閉後要記得從 epoll 中移除,避免內核中殘留無效監聽項。
· 選 ET 模式就必須配非阻塞 fd,並在單次回調中讀寫到 EAGAIN 為止。
· epoll_create 的 size 只是提示,並非上限;真正的上限取決於系統的 /proc/sys/fs/epoll/max_user_watches 等參數。
· 若需要跨線程添加/刪改 fd,注意 epoll 本身不是線程安全的,多線程環境下要用 EPOLLONESHOT 或加鎖保護。