epoll模型的使用及其描述符耗尽问题的探讨

wyezl

每次接受新连接的时候，我监视了这几个事件。

EPOLLIN | EPOLLET |  EPOLLERR | EPOLLHUP | EPOLLPRI;

每次有一批事件返回，经过统计  
返回的一批fd数量=出错关闭的fd数量+由EPOLLIN转为EPOLLOUT的fd数量+EPOLLOUT正常处理关闭的fd的数量。 也就是说，每批事件都完全处理，没有遗漏。

观察发现EPOLLET |  EPOLLERR | EPOLLHUP 这3发事件的发生率为0。

但fd却成增大趋势。以前那写较小的fd在经历一段时间后渐渐丢失，不再可用。

请问fd都丢失到哪里去了？

-----------------------------------------------------------------------

后来经常有人写信问我这个问题，我在帖子里回复过，好象帖子太多了，不好找，还是写在这里吧。
单纯靠epoll来管理描述符不泄露几乎是不可能的。
完全解决方案很简单，就是对每个fd设置超时时间，如果超过timeout的时间，这个fd没有活跃过，就close掉。

[ 本帖最后由 wyezl 于 2008-12-13 21:42 编辑 ]

思一克

有程序？

wyezl

1. 
   
2. 
   
3. 
   
4. /*-------------------------------------------------------------------------------------------------
   
5. gcc -o httpd httpd.c -lpthread
   
6. author: wyezl
   
7. 2006.4.28
   
8. ---------------------------------------------------------------------------------------------------*/
   
9. 
   
10. #include <sys/socket.h>
    
11. #include <sys/epoll.h>
    
12. #include <netinet/in.h>
    
13. #include <arpa/inet.h>
    
14. #include <fcntl.h>
    
15. #include <unistd.h>
    
16. #include <stdio.h>
    
17. #include <pthread.h>
    
18. #include <errno.h>
    
19. 
    
20. #define PORT 8888
    
21. #define MAXFDS 5000
    
22. #define EVENTSIZE 100
    
23. 
    
24. #define BUFFER "HTTP/1.1 200 OK\r\nContent-Length: 5\r\nConnection: close\r\nContent-Type: text/html\r\n\r\nHello"
    
25. 
    
26. int epfd;
    
27. void *serv_epoll(void *p);
    
28. void setnonblocking(int fd)
    
29. {
    
30.     int opts;
    
31.     opts=fcntl(fd, F_GETFL);
    
32.     if (opts < 0)
    
33.     {
    
34.           fprintf(stderr, "fcntl failed\n");
    
35.           return;
    
36.     }
    
37.     opts = opts | O_NONBLOCK;
    
38.     if(fcntl(fd, F_SETFL, opts) < 0)
    
39.     {
    
40.           fprintf(stderr, "fcntl failed\n");
    
41.           return;
    
42.     }
    
43.     return;
    
44. }
    
45. 
    
46. int main(int argc, char *argv[])
    
47. {
    
48.     int fd, cfd,opt=1;
    
49.     struct epoll_event ev;
    
50.     struct sockaddr_in sin, cin;
    
51.     socklen_t sin_len = sizeof(struct sockaddr_in);
    
52.     pthread_t tid;
    
53.     pthread_attr_t attr;
    
54. 
    
55.     epfd = epoll_create(MAXFDS);
    
56.     if ((fd = socket(AF_INET, SOCK_STREAM, 0)) <= 0)
    
57.     {
    
58.           fprintf(stderr, "socket failed\n");
    
59.           return -1;
    
60.     }
    
61.     setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, (const void*)&opt, sizeof(opt));
    
62. 
    
63.     memset(&sin, 0, sizeof(struct sockaddr_in));
    
64.     sin.sin_family = AF_INET;
    
65.     sin.sin_port = htons((short)(PORT));
    
66.     sin.sin_addr.s_addr = INADDR_ANY;
    
67.     if (bind(fd, (struct sockaddr *)&sin, sizeof(sin)) != 0)
    
68.     {
    
69.           fprintf(stderr, "bind failed\n");
    
70.           return -1;
    
71.     }
    
72.     if (listen(fd, 32) != 0)
    
73.     {
    
74.           fprintf(stderr, "listen failed\n");
    
75.           return -1;
    
76.     }
    
77. 
    
78.     pthread_attr_init(&attr);
    
79.     pthread_attr_setdetachstate(&attr,PTHREAD_CREATE_DETACHED);
    
80.     if (pthread_create(&tid, &attr, serv_epoll, NULL) != 0)
    
81.     {
    
82.           fprintf(stderr, "pthread_create failed\n");
    
83.           return -1;
    
84.     }
    
85. 
    
86.     while ((cfd = accept(fd, (struct sockaddr *)&cin, &sin_len)) > 0)
    
87.     {
    
88.           setnonblocking(cfd);
    
89.           ev.data.fd = cfd;
    
90.           ev.events = EPOLLIN | EPOLLET |  EPOLLERR | EPOLLHUP | EPOLLPRI;
    
91.           epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &ev);
    
92.           //printf("connect from %s\n",inet_ntoa(cin.sin_addr));
    
93.           //printf("cfd=%d\n",cfd);
    
94.     }
    
95. 
    
96.     if (fd > 0)
    
97.           close(fd);
    
98.     return 0;
    
99. }
    
100. 
     
101. void *serv_epoll(void *p)
     
102. {
     
103.     int i, ret, cfd, nfds;;
     
104.     struct epoll_event ev,events[EVENTSIZE];
     
105.     char buffer[512];
     
106. 
     
107.     while (1)
     
108.     {
     
109.           nfds = epoll_wait(epfd, events, EVENTSIZE , -1);
     
110.           //printf("nfds ........... %d\n",nfds);
     
111.           for (i=0; i<nfds; i++)
     
112.           {
     
113.                 if(events[i].events & EPOLLIN)
     
114.                 {
     
115.                     cfd = events[i].data.fd;
     
116.                     ret = recv(cfd, buffer, sizeof(buffer),0);
     
117.                     //printf("read ret..........= %d\n",ret);
     
118. 
     
119.                     ev.data.fd = cfd;
     
120.                     ev.events = EPOLLOUT | EPOLLET;
     
121.                     epoll_ctl(epfd, EPOLL_CTL_MOD, cfd, &ev);
     
122.                 }
     
123.                 else if(events[i].events & EPOLLOUT)
     
124.                 {
     
125.                     cfd = events[i].data.fd;
     
126.                     ret = send(cfd, BUFFER, strlen(BUFFER), 0);
     
127.                     //printf("send ret...........= %d\n", ret);
     
128. 
     
129.                     ev.data.fd = cfd;
     
130.                     epoll_ctl(epfd, EPOLL_CTL_DEL, cfd, &ev);
     
131.                   
     
132.                     close(cfd);
     
133. 
     
134.                 }
     
135. 
     
136.                    else
     
137.               {
     
138.                                
     
139.                 cfd = events[i].data.fd;
     
140.                 ev.data.fd = cfd;
     
141.                 epoll_ctl(epfd, EPOLL_CTL_DEL, cfd, &ev);
     
142.                 close(cfd);
     
143.                }
     
144. 
     
145. 
     
146.           }
     
147.     }
     
148.     return NULL;
     
149. }
     
150. 
     
151. 
     
152. 
     
153. 
     
154. 
     
155. 
     
156. 
     
157. 
     
158. 
     
159. 
     
160. 
     
161. 
     

复制代码

wyezl

只要能帮我找出描述符从哪耗尽的就行。
：）

思一克

是不是main()中的cfd没有关闭

wyezl

main中只接受连接，加入监视，不做处理。
估计epoll_ctl 没判断出错，我下午再测试一下。

wyezl

if(epoll_ctl(epfd, EPOLL_CTL_ADD, cfd, &ev)<0)
                        printf("............................................EPOLL_CTL_ADD error!\n");

if(epoll_ctl(epfd, EPOLL_CTL_MOD, cfd, &ev)<0)
                                                printf(".......................................EPOLL_CTL_MOD error!\n");


修改了两句，但未发现这里的错误输出，估计也不是这的问题。

不知道到底从哪耗尽的，奇怪。

wyezl

继续顶。。。。。。。。。。。。。。。。

思一克

想帮你实验，但程序无法编译

playmud

挑挑错吧，说的不对的话，请见谅！
1，    while ((cfd = accept(fd, (struct sockaddr *)&cin, &sin_len)) > 0)
    可够改成
while(1)
cfd = accept(fd, (struct sockaddr *)&cin, &sin_len;
if(cfd>0)
..
2，你是要让客户端发送一次就不再发送了吗？

1.                 if(events[i].events & EPOLLIN)
   
2.                 {
   
3.                     cfd = events[i].data.fd;
   
4.                     ret = recv(cfd, buffer, sizeof(buffer),0);
   
5.                     //printf("read ret..........= %d\n",ret);
   
6. 
   
7.                     ev.data.fd = cfd;
   
8.                     ev.events = EPOLLOUT | EPOLLET;
   
9.                     epoll_ctl(epfd, EPOLL_CTL_MOD, cfd, &ev);
   
10.                 }

复制代码

3，将accept事件列入epoll监控的对象
4，对close最好做一个判断