[基于Epoll内置Leader-Follower服务端实现, 已可达50万echo qps（全新支持Lua啦）]

linux_c_py_php

yulihua49 发表于 2013-02-18 13:35
改ET怎么样？
单线程epoll_wait有这问题吗？

单线程的没有D, 单核CPU直接跑满了, QPS与多线程基本差不多, 这坑爹了.

yulihua49

linux_c_py_php 发表于 2013-02-18 13:42
性能下降了... 太不和谐了, 我没用工具分析ET的情况, 不过我刚才分析了一下LT长连接的情况,  QPS有15万 ...

QPS有15万？已经比我高了，再接再厉。
不过我的过程比较复杂，包括压缩加密什么的，到6.5W也不易了。

linux_c_py_php

linux_c_py_php 发表于 2013-02-18 13:45
单线程的没有D, 单核CPU直接跑满了, QPS与多线程基本差不多, 这坑爹了.

单线程和多线程网卡中断数也基本一样, QPS也基本一样.

但单线程没有D, 单核会跑满, 多线程大量持续D, 每个核还有60的idle.

linux_c_py_php

yulihua49 发表于 2013-02-18 13:45
QPS有15万？已经比我高了，再接再厉。
不过我的过程比较复杂，包括压缩加密什么的，到6.5W也不易了。

15万我看也不是极限, 公司里有人跑出30万了, 草.

看他们的方法是把一张网卡绑到8个核上啥的, 把中断分配给多个核去处理.

yulihua49

linux_c_py_php 发表于 2013-02-18 13:42
性能下降了... 太不和谐了, 我没用工具分析ET的情况, 不过我刚才分析了一下LT长连接的情况,  QPS有15万 ...

如何配置CPU亲缘性？
把工程发过来我试试？
我只有一个双核的LINUX和4核的Solaris。

linux_c_py_php

据我猜测, 单线程的时候单核CPU是一个瓶颈, 多线程的时候网卡中断是个瓶颈, 结果就是单线程没CPU了, 所以跑不出D, 但多线程CPU多还能往上跑所以跑出D了, 但也高不上去了.

因为单线程做计算和单线程做中断， 我觉得它们的能力是持平的, 所以单线程和多线程恰巧在极限的时候达成了服务承载力的一致.

linux_c_py_php

yulihua49 发表于 2013-02-18 13:49
如何配置CPU亲缘性？

你看这两个链接：

http://www.vpsee.com/2010/07/loa ... h-irq-smp-affinity/

http://www.vpsee.com/2010/07/smp-irq-affinity/

linux_c_py_php

yulihua49 发表于 2013-02-18 13:49
如何配置CPU亲缘性？
把工程发过来我试试？
我只有一个双核的LINUX和4核的Solaris。

代码就是1楼那个tar包, 我把测试端贴上代码来, 你直接编译了跑.

linux_c_py_php

1. #include <stdio.h>
   
2. #include <stdlib.h>
   
3. #include <string.h>
   
4. #include <sys/socket.h>
   
5. #include <netinet/in.h>
   
6. #include <arpa/inet.h>
   
7. #include <unistd.h>
   
8. 
   
9. int main(int argc, char *const arvg[]) {
   
10.     int sock = socket(AF_INET, SOCK_STREAM, 0);
    
11.    
    
12.     struct sockaddr_in srvAddr;
    
13.     srvAddr.sin_family = AF_INET;
    
14.     srvAddr.sin_addr.s_addr = inet_addr("127.0.0.1");
    
15.     srvAddr.sin_port = htons(9876);
    
16.         
    
17.     connect(sock, (struct sockaddr *)&srvAddr, sizeof(srvAddr));
    
18.    
    
19.     int i;
    
20.     char buff[1024];
    
21.     const char *hello = "hello world\n";
    
22.     int helloLen = strlen(hello);
    
23.    
    
24.     for (i = 0; i < 100000000; ++i) {
    
25.         int size = 0;
    
26.         while (size < helloLen) {
    
27.             int ret = write(sock, hello + size, helloLen - size);
    
28.             if (ret > 0) size += ret;
    
29.         }
    
30.         recv(sock, buff, helloLen, MSG_WAITALL);
    
31.     }
    
32. 
    
33.     close(sock);
    
34.     return 0;
    
35. }

复制代码

长连接测试端.

yulihua49

linux_c_py_php 发表于 2013-02-18 13:55
长连接测试端.

1. Cpu0  :  7.0%us, 67.4%sy,  0.0%ni,  0.0%id,  0.0%wa,  0.0%hi, 25.6%si,  0.0%st
   
2. Cpu1  :  6.0%us, 66.0%sy,  0.0%ni,  0.0%id,  0.0%wa,  0.0%hi, 28.0%si,  0.0%st
   
3. Mem:   8059424k total,  1941356k used,  6118068k free,    98700k buffers
   
4. Swap:  8191992k total,        0k used,  8191992k free,   933276k cached
   
5. 
   
6.   PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                          
   
7. 5293 sdbc      20   0  3912  372  304 R 21.6  0.0   0:59.30 client                                            
   
8. 5294 sdbc      20   0  3912  372  304 R 21.6  0.0   0:59.40 client                                            
   
9. 5296 sdbc      20   0  3912  372  304 R 21.6  0.0   0:59.51 client                                            
   
10. 5295 sdbc      20   0  3912  372  304 R 21.3  0.0   0:59.30 client                                            
    
11. 5235 sdbc      20   0  639m 512m  476 S 14.0  6.5   0:29.97 server                                            
    
12. 5244 sdbc      20   0  639m 512m  476 S 14.0  6.5   0:30.63 server                                            
    
13. 5242 sdbc      20   0  639m 512m  476 S 13.0  6.5   0:27.70 server                                            
    
14. 5243 sdbc      20   0  639m 512m  476 R 11.6  6.5   0:28.09 server                                            
    
15. 5238 sdbc      20   0  639m 512m  476 S 11.0  6.5   0:29.26 server                                            
    
16. 5245 sdbc      20   0  639m 512m  476 S  9.0  6.5   0:32.34 server                                            
    
17. 5237 sdbc      20   0  639m 512m  476 S  8.6  6.5   0:29.38 server                                            
    
18. 5241 sdbc      20   0  639m 512m  476 S  7.6  6.5   0:31.77 server                                            
    
19. 5239 sdbc      20   0  639m 512m  476 S  7.0  6.5   0:28.75 server                                            
    
20. 5236 sdbc      20   0  639m 512m  476 S  5.6  6.5   0:31.77 server                                            
    
21. 5246 sdbc      20   0  639m 512m  476 S  5.6  6.5   0:30.26 server                                            
    
22. 5240 sdbc      20   0  639m 512m  476 S  5.0  6.5   0:27.43 server                                            
    
23. 5284 sdbc      20   0 15160 1352  936 R  0.3  0.0   0:00.71 top                                               
    
24.     1 root      20   0 19348 1556 1244 S  0.0  0.0   0:00.67 init                                             
    
25.     2 root      20   0     0    0    0 S  0.0  0.0   0:00.00 kthreadd            

复制代码

2核，4个client同时，idle=0，没有D。每秒28989，包括写文件的时间。