epoll模型的使用及其描述符耗尽问题的探讨

wyezl

原帖由 playmud 于 2006-8-22 17:49 发表
tcp正常的断开需要3次或者4次握手确认，如果没有这个确认他就会保持一定的时间。
/proc/sys/net/ipv4/tcp_keepalive_time

我在服务器端处理完请求就close不行吗？

有的死掉的描述符再给它一个小时它也不会释放了，肯定是没close。

wyezl

看了lighttpd代码。有了点思路。明天再继续修改。

1. 
   
2. 
   
3. 
   
4. #include <sys/types.h>
   
5. 
   
6. #include <unistd.h>
   
7. #include <stdlib.h>
   
8. #include <stdio.h>
   
9. #include <string.h>
   
10. #include <errno.h>
    
11. #include <signal.h>
    
12. #include <fcntl.h>
    
13. 
    
14. #include "fdevent.h"
    
15. #include "settings.h"
    
16. #include "buffer.h"
    
17. 
    
18. #ifdef USE_LINUX_EPOLL
    
19. static void fdevent_linux_sysepoll_free(fdevents *ev) {
    
20.         close(ev->epoll_fd);
    
21.         free(ev->epoll_events);
    
22. }
    
23. 
    
24. static int fdevent_linux_sysepoll_event_del(fdevents *ev, int fde_ndx, int fd) {
    
25.         struct epoll_event ep;
    
26.        
    
27.         if (fde_ndx < 0) return -1;
    
28.        
    
29.         memset(&ep, 0, sizeof(ep));
    
30.        
    
31.         ep.data.fd = fd;
    
32.         ep.data.ptr = NULL;
    
33.        
    
34.         if (0 != epoll_ctl(ev->epoll_fd, EPOLL_CTL_DEL, fd, &ep)) {
    
35.                 fprintf(stderr, "%s.%d: epoll_ctl failed: %s, dying\n", __FILE__, __LINE__, strerror(errno));
    
36.                
    
37.                 SEGFAULT();
    
38.                
    
39.                 return 0;
    
40.         }
    
41.        
    
42.        
    
43.         return -1;
    
44. }
    
45. 
    
46. static int fdevent_linux_sysepoll_event_add(fdevents *ev, int fde_ndx, int fd, int events) {
    
47.         struct epoll_event ep;
    
48.         int add = 0;
    
49.        
    
50.         if (fde_ndx == -1) add = 1;
    
51.        
    
52.         memset(&ep, 0, sizeof(ep));
    
53.        
    
54.         ep.events = 0;
    
55.        
    
56.         if (events & FDEVENT_IN)  ep.events |= EPOLLIN;
    
57.         if (events & FDEVENT_OUT) ep.events |= EPOLLOUT;
    
58. 
    
59.         /**
    
60.          *
    
61.          * with EPOLLET we don't get a FDEVENT_HUP
    
62.          * if the close is delay after everything has
    
63.          * sent.
    
64.          *
    
65.          */
    
66.        
    
67.         ep.events |= EPOLLERR | EPOLLHUP /* | EPOLLET */;
    
68.        
    
69.         ep.data.ptr = NULL;
    
70.         ep.data.fd = fd;
    
71.        
    
72.         if (0 != epoll_ctl(ev->epoll_fd, add ? EPOLL_CTL_ADD : EPOLL_CTL_MOD, fd, &ep)) {
    
73.                 fprintf(stderr, "%s.%d: epoll_ctl failed: %s, dying\n", __FILE__, __LINE__, strerror(errno));
    
74.                
    
75.                 SEGFAULT();
    
76.                
    
77.                 return 0;
    
78.         }
    
79.        
    
80.         return fd;
    
81. }
    
82. 
    
83. static int fdevent_linux_sysepoll_poll(fdevents *ev, int timeout_ms) {
    
84.         return epoll_wait(ev->epoll_fd, ev->epoll_events, ev->maxfds, timeout_ms);
    
85. }
    
86. 
    
87. static int fdevent_linux_sysepoll_event_get_revent(fdevents *ev, size_t ndx) {
    
88.         int events = 0, e;
    
89.        
    
90.         e = ev->epoll_events[ndx].events;
    
91.         if (e & EPOLLIN) events |= FDEVENT_IN;
    
92.         if (e & EPOLLOUT) events |= FDEVENT_OUT;
    
93.         if (e & EPOLLERR) events |= FDEVENT_ERR;
    
94.         if (e & EPOLLHUP) events |= FDEVENT_HUP;
    
95.         if (e & EPOLLPRI) events |= FDEVENT_PRI;
    
96.        
    
97.         return e;
    
98. }
    
99. 
    
100. static int fdevent_linux_sysepoll_event_get_fd(fdevents *ev, size_t ndx) {
     
101. # if 0
     
102.         fprintf(stderr, "%s.%d: %d, %d\n", __FILE__, __LINE__, ndx, ev->epoll_events[ndx].data.fd);
     
103. # endif
     
104.        
     
105.         return ev->epoll_events[ndx].data.fd;
     
106. }
     
107. 
     
108. static int fdevent_linux_sysepoll_event_next_fdndx(fdevents *ev, int ndx) {
     
109.         size_t i;
     
110.        
     
111.         UNUSED(ev);
     
112. 
     
113.         i = (ndx < 0) ? 0 : ndx + 1;
     
114.        
     
115.         return i;
     
116. }
     
117. 
     
118. int fdevent_linux_sysepoll_init(fdevents *ev) {
     
119.         ev->type = FDEVENT_HANDLER_LINUX_SYSEPOLL;
     
120. #define SET(x) \
     
121.         ev->x = fdevent_linux_sysepoll_##x;
     
122.        
     
123.         SET(free);
     
124.         SET(poll);
     
125.        
     
126.         SET(event_del);
     
127.         SET(event_add);
     
128.        
     
129.         SET(event_next_fdndx);
     
130.         SET(event_get_fd);
     
131.         SET(event_get_revent);
     
132.        
     
133.         if (-1 == (ev->epoll_fd = epoll_create(ev->maxfds))) {
     
134.                 fprintf(stderr, "%s.%d: epoll_create failed (%s), try to set server.event-handler = \"poll\" or \"select\"\n",
     
135.                         __FILE__, __LINE__, strerror(errno));
     
136. 
     
137.                 return -1;
     
138.         }
     
139. 
     
140.         if (-1 == fcntl(ev->epoll_fd, F_SETFD, FD_CLOEXEC)) {
     
141.                 fprintf(stderr, "%s.%d: epoll_create failed (%s), try to set server.event-handler = \"poll\" or \"select\"\n",
     
142.                         __FILE__, __LINE__, strerror(errno));
     
143. 
     
144.                 close(ev->epoll_fd);
     
145. 
     
146.                 return -1;
     
147.         }
     
148. 
     
149.         ev->epoll_events = malloc(ev->maxfds * sizeof(*ev->epoll_events));
     
150. 
     
151.         return 0;
     
152. }
     
153. 
     
154. #else
     
155. int fdevent_linux_sysepoll_init(fdevents *ev) {
     
156.         UNUSED(ev);
     
157. 
     
158.         fprintf(stderr, "%s.%d: linux-sysepoll not supported, try to set server.event-handler = \"poll\" or \"select\"\n",
     
159.                 __FILE__, __LINE__);
     
160.        
     
161.         return -1;
     
162. }
     
163. #endif
     
164. 
     
165. 
     
166. 
     

复制代码

wyezl

原帖由 playmud 于 2006-8-22 17:52 发表
实在找不到原因，你可以把那个默认超时时间设成10几秒或者几十秒。
系统帮你释放掉占用的资源。

哪个默认的超时？

nuclearweapon

原帖由 wyezl 于 2006-8-22 17:06 发表
通过观察知道
lrwx------  1 root root 64 Aug 22 16:25 480 -> socket:[34370805]
480这个描述符是死掉。不能回收了。我怎么看它的状态？



# ls -l  /proc/28477/fd/
total 20
lrwx------  1 root  ...

34370805是inode号
cat /proc/net/tcp|grep 34370805   

第2、3项为socket的adress：port


还可以:
netstat -a | grep _pid_
如果照你说只有一个的话就很好分析出是拿一个是那个死掉的。看看他的状态是什么

safedead

我写的一个非常简单的epoll服务器,
监听从8000到12999共计5000个端口
预创建4096个线程
主线程用线程锁调度

具体代码见: http://www.cublog.cn/u/17999/showart.php?id=159057

wyezl

原帖由 nuclearweapon 于 2006-8-22 22:36 发表


34370805是inode号
cat /proc/net/tcp|grep 34370805   

第2、3项为socket的adress：port


还可以:
netstat -a | grep _pid_
如果照你说只有一个的话就很好分析出是拿一个是那个死掉的。看看他的状 ...

死掉的fd。
lrwx------  1 root root 64 Aug 23 09:37 7 -> socket:[35074112]

#cat /proc/net/tcp|grep 35074112
17392: 4D256CCA:0050 4ACF18DA:0843 01 00000000:00000000 00:00000000 00000000   527        0 35074112 1 f4a71020 3000 0 0 2 -1

netstat -a | grep _pid

这个pid是谁的？
怎么看状态？

nuclearweapon

原帖由 wyezl 于 2006-8-23 09:48 发表


死掉的fd。
lrwx------  1 root root 64 Aug 23 09:37 7 -> socket:[35074112]

#cat /proc/net/tcp|grep 35074112
17392: 4D256CCA:0050 4ACF18DA:0843 01 00000000:00000000 00:00000000 00000000   ...

实在对不起是我写错了
应该是
netstat -a| grep port

wyezl

time_t cfds[MAXFDS];
time_t  now;
加了一个监视线程。每次accept的时候cfds[cfd]=time(NULL);
close(cfd)的时候 cfds[cfd]=0; 临时解决一下。




void *loop_check(void *p)
{
        int i;
        struct epoll_event ev;
        while(1)
        {
                time(&now);
                for(i=0;i<MAXFDS;i++)
                {
                        if(cfds[i]!=0)
                                if(now-cfds[i]>TIMEOUT)
                                {
                                        printf("cfd=%d timeout.\n",i);

                                        ev.data.fd = i;
                                        if(epoll_ctl(epfd, EPOLL_CTL_DEL, i, &ev)!=0)
                                                printf("can't del epoll.\n");

                                        if(close(i)==0)
                                                cfds[i]=0;
                                        else
                                                printf("can't close cfds.\n");

                                }
                }
                sleep(SLEEPTIME);
        }
        return NULL;
}




60s检查一次。发现这样检查出来的还真不少。
./httpd
cfd=8 timeout.
cfd=11 timeout.
cfd=12 timeout.
cfd=17 timeout.
cfd=21 timeout.
cfd=30 timeout.
cfd=32 timeout.
cfd=51 timeout.
cfd=52 timeout.
cfd=59 timeout.
cfd=60 timeout.
cfd=71 timeout.
cfd=76 timeout.
cfd=7 timeout.
cfd=10 timeout.
cfd=14 timeout.
cfd=15 timeout.
cfd=16 timeout.
cfd=18 timeout.
cfd=20 timeout.
cfd=25 timeout.
cfd=33 timeout.
cfd=36 timeout.
cfd=53 timeout.
cfd=58 timeout.

思一克

原因看来就是我原来想的那样。

wyezl

这样做效率低了一些。暂时也没好的办法。
如果用线程池效率也是会有影响。

猜测是，一些fd加入了epoll的监视中，但确没有任何事件触发。
所以就都死到里面了。