多线程服务器，发现个问题，请高人解惑

samlumengjun

在线程处理函数里要 close( ((T_Connect *)param)->Socket ). 然后再置-1. 如果不关闭的话,总的连接数会不断上升的.

yulihua49

另外你的情况应该有两个问题,第一个问题就是我说的你没有设置线程属性,自行释放资源.还有一个问题是在客户端 ...
samlumengjun 发表于 2010-07-05 18:49

    不管发生什么情况，工作线程退出时都要close（socket）；

现在发现客户端连接后，交换密钥（客户发一包，收一包，服务器收一包，发一包）正常，紧接着客户端发登录串。
服务器没收到，select夭折，errno=84，随后关闭socket，退出线程。
客户端select返回socket可读，接着read，死住。
以上情况在密集访问时偶然发生。其他环节从未发生问题。登录成功的连接无论收发多少包都没问题。

samlumengjun

回复 22# yulihua49


    此socket非彼socket,实际上就是你传入的s,是accept以后新的描述符.你在主程序里关闭的是你监听的socket,不是同一个概念.除非你没有把线程处理函数贴全,要不然我没有看到你在线程里关闭socket呀,所以你的客户端就死等了.

yulihua49

回复  yulihua49


    此socket非彼socket,实际上就是你传入的s,是accept以后新的描述符.你在主程序里 ...
samlumengjun 发表于 2010-07-06 13:49

    关闭的是新socket，因为原始的socket从来没有送到线程。
s不能关闭，正常情况是线程客户端连接，还用的。
客户端服务器都调这个个函数接收：

1. int RecvNet(int s,char *buf,int n,int timeout)
   
2. {
   
3. int bcount,br,ret;
   
4. struct timeval tm;
   
5. //timeout for second
   
6. int RecvNet(int s,char *buf,int n,int timeout)
   
7. {
   
8. int bcount,br,ret;
   
9. struct timeval tm;
   
10. fd_set fds,efds;
    
11. 
    
12.         if(timeout) {
    
13.                 FD_ZERO(&fds);
    
14.                 FD_ZERO(&efds);
    
15.                 FD_SET(s, &fds);
    
16.                 FD_SET(s, &efds);
    
17.                 tm.tv_sec=timeout;
    
18.                 tm.tv_usec=0;
    
19.                 ret=select(s+1,&fds,NULL,&efds,&tm);
    
20.                 if(ret<0) return ret;
    
21.                 if(0==ret) return TIMEOUTERR;
    
22. 
    
23.         if( FD_ISSET(s, &fds))
    
24.                 ShowLog(5,"%s:aft select ret=%d fds tobe set  n=%d,sock=%d,sec=%ld,usec=%ld",
    
25.                         __FUNCTION__,ret,n,s,tm.tv_sec,tm.tv_usec);
    
26.         }
    
27.         bcount=0;
    
28.         br=0;
    
29. 
    
30.         while(bcount<n){
    
31.                 if((br=read(s,buf,n-bcount))>0){
    
32.                         bcount+=br;
    
33.                         buf+=br;
    
34.                         continue;
    
35.                 }
    
36.                 if(br<0){
    
37.                     return -1;
    
38.                 }
    
39.                 if(!br){
    
40.                         usleep(5000);
    
41.                         continue;
    
42.                 }
    
43.         }
    
44.         if(bcount<=0)return -1;
    
45.         return bcount;
    
46. }
    
47. 
    

复制代码

23行：if( FD_ISSET(s, &efds))永远没结果，即使s已经被服务器关闭。
取消select，直接read，照旧会死。
并发960个客户端，会死2-5个。

发现问题了，出在39-41行，不断的死循环。改成失败100次退出，基本可以了。

zimang

已经害怕多线程+select 密集

yulihua49

已经害怕多线程+select 密集
zimang 发表于 2010-07-06 14:04

    是啊，我都晕倒了。
可是，有办法吗？用什么代替？
取消select也不行，多线程+read密集也不行。
现在好在服务器不死了，内存也基本稳住了，有时大点，有时小点。

980个客户端一哄而上，总有三五个憋死的。

zimang

回复 26# yulihua49


   不是长连接的话 就一个worker线程  呵呵

可以试试 epoll  感觉要明了点

samlumengjun

把你的线程处理函数全部贴出来,我看一下. select没什么问题,相比epoll要简单.

yulihua49

把你的线程处理函数全部贴出来,我看一下. select没什么问题,相比epoll要简单.
samlumengjun 发表于 2010-07-06 14:18

代码在24楼，把39行的死循环限制100次，客户端可以异常退出了。
问题还是出在服务器，多线程select，虽然基本可以正常工作，但忙起来还是会挤掉个别连接。估计也不一定是select，因为正常连接是挤不掉的，只有未登录的连接会被挤掉，看来毛病在我。
在46行挤掉的。
线程工作函数：

1. #include <sdbc.h>
   
2. #include <bignum.h>
   
3. 
   
4. extern srvfunc Function[]; //user program.
   
5. 
   
6. static void * thread_work(void *param)
   
7. {
   
8. T_Connect Conn=*(T_Connect *)param;
   
9. T_NetHead Head;
   
10. int ret,logined=0;
    
11. T_SRV_Var ctx;
    
12. srvfunc *fp;
    
13. int svcnum=0;
    
14. int (*init)(T_Connect *conn,T_NetHead *head);
    
15. 
    
16. #ifdef __GNUC__
    
17. char gda[Conn.SendLen+1];//本线程的全局数据区必须在此分配。
    
18. #else
    
19. char *gda=alloca(Conn.SendLen+1);
    
20. #endif
    
21. 
    
22.         ((T_Connect *)param)->Socket=-1;//通知主线程
    
23.         if(Conn.SendLen>0) ctx.var=gda;
    
24.         else ctx.var=0;
    
25.         Conn.SendLen=0;
    
26.         ctx.tid=pthread_self();//标志多线程服务
    
27.         ctx.poolno=0;
    
28.         ___SQL_Init_SQL_Connect(&ctx.SQL_Connect);
    
29.         Conn.Var=&ctx;
    
30.         init=Conn.only_do;
    
31.         Conn.only_do=0;
    
32. //借用only_do存放函数地址 conn_init
    
33.         if(init) init(&Conn,&Head);
    
34.         if(!Conn.only_do) for(fp=Function;fp->funcaddr!=0;fp++) svcnum++;
    
35. 
    
36.         ShowLog(2,"%s:tid=%lu,sock=%d",__FUNCTION__,ctx.tid,Conn.Socket);
    
37. // 协商密钥
    
38.         Conn.CryptFlg=mk_clikey(Conn.Socket,&Conn.t,Conn.family);
    
39.         if(Conn.CryptFlg<0) { //协商密钥失败
    
40.                 ShowLog(1,"%s:tid=%lu 协商密钥失败!",__FUNCTION__,ctx.tid);
    
41.                 freeconnect(&Conn);
    
42.                 return NULL;
    
43.         }
    
44. 
    
45.         while(1) {
    
46.                 ret=RecvPack(&Conn,&Head);
    
47.                 if(ret<0) {
    
48.                         ShowLog(1,"%s:tid=%lu,接收结束,sock=%d,status=%d,%s",
    
49.                                 __FUNCTION__,ctx.tid,Conn.Socket,errno,strerror(errno));
    
50.                         break;
    
51.                 }
    
52.                 ShowLog(4,"%s: tid=%lu,PROTO_NUM:%d len:%d",__FUNCTION__,ctx.tid,
    
53.                         Head.PROTO_NUM,Head.PKG_LEN);
    
54.                 if(Head.PROTO_NUM==1){
    
55.                         Echo(&Conn,&Head);
    
56.                         continue;
    
57.                 }
    
58.                 if(Head.PROTO_NUM==0xFFFF){
    
59.                         ShowLog(0,"%s:Disconnect by client,tid=%lu",__FUNCTION__,ctx.tid);
    
60.                         break;
    
61.                 }
    
62.                 if(!Head.PROTO_NUM) {
    
63.                         if(!logined) {//还是一个有状态服务
    
64.                                 logined=Function[0].funcaddr(&Conn,&Head);
    
65.                                 if(logined==-1) break;
    
66.                         } else {
    
67.                                 if(!Conn.only_do) ret=get_srvname(&Conn,&Head);
    
68.                                 else ret=Conn.only_do(&Conn,&Head);
    
69.                                 continue;
    
70.                         }
    
71.                 } else if(Conn.only_do) {
    
72.                         ret=Conn.only_do(&Conn,&Head);
    
73.                         continue;
    
74.                 } else {
    
75.                         if(Head.PROTO_NUM>svcnum) {
    
76.                                 ShowLog(1,"%s:没有这个服务号 %s",__FUNCTION__,Head.PROTO_NUM);
    
77.                                 break；
    
78.                         }
    
79.                         ret=Function[Head.PROTO_NUM].funcaddr(&Conn,&Head);
    
80.                         if(ret==-1) {
    
81.                                 ShowLog(0,"%s:Disconnect by server PROTO_NUM=%d,ret=%d",
    
82.                                         __FUNCTION__,Head.PROTO_NUM,ret);
    
83.                                 break;
    
84.                         }
    
85.                 }
    
86.         }
    
87.         freeconnect(&Conn);//关闭连接
    
88.         mthr_showid_del(ctx.tid);
    
89.         return NULL;
    
90. }
    
91. 
    

复制代码

samlumengjun

我不清楚你的业务逻辑,但是45行到87行的while循环里,server端的continue语句应该会有问题.server没有发给客户端任何消息,然后直接读,难道第一次没有读完?这样的话server就会循环去读,什么也读不到,而客户端死等.