[基于Epoll内置Leader-Follower服务端实现, 已可达50万echo qps（全新支持Lua啦）]

linux_c_py_php

pandaiam 发表于 2013-02-18 10:20
这是啥分析工具啊..

D就是top里看进程的状态处于不可中断状态, 应该是涉及磁盘操作才会出现这个.

w_anthony

回复 7# yulihua49


如果LT模式多线程同时epoll_wait，貌似同一个socket的读事件会在两个线程里面都被epoll_wait读取。
ET模式多线程如果稍微有先后，应该不会发生这个情况，但同时的情况下，我也不知道一个读事件是否会同时唤醒两个线程。
我作过的压力测试是局域网里面四台客户机，每台3000个连接连到服务器，共12000个连接收发数据。数据可以正常收发，服务器的状态还好，CPU使用率不高（具体多少我不记得了）。

yulihua49

linux_c_py_php 发表于 2013-02-18 10:47
你直接拉我代码下去看一下吧, 我刚到公司分析一下原因.

qps才13000, 线程频繁D很异常, 就打了一条用 ...

qps是每秒访问次数吗？D是什么？几核的机器？
短连接还是长连接？

linux_c_py_php

yulihua49 发表于 2013-02-18 10:54
qps是每秒访问次数吗？D是什么？几核的机器？
短连接还是长连接？

短连接, qps是每秒请求次数, D是top里那个D, 我之前遇到过就是发生在分配大内存mmap或者磁盘繁忙会引起, 现在strace跟的话调用基本上就是accept/read/write/epoll_ctl, 不知道卡在哪一个调用上了.

机器12核的, 应该不是机器问题.

yulihua49

w_anthony 发表于 2013-02-18 10:52
回复 7# yulihua49

EPOLLONESHOT就保证不会发生这些问题。

linux_c_py_php

w_anthony 发表于 2013-02-18 10:52
回复 7# yulihua49

你可以看看EPOLLONESHOT, 可以解决这个问题.

yulihua49

linux_c_py_php 发表于 2013-02-18 10:57
短连接, qps是每秒请求次数, D是top里那个D, 我之前遇到过就是发生在分配大内存mmap或者磁盘繁忙会引起 ...

明白了，使用长连接，连接一次，通讯多次看看。
每个连接通讯100次到1000次测一下。

linux_c_py_php

yulihua49 发表于 2013-02-18 10:59
明白了，使用长连接，连接一次，通讯多次看看。
每个连接通讯100次到1000次测一下。

我先试着, 你说下你的看法..

yulihua49

linux_c_py_php 发表于 2013-02-18 11:04
我先试着, 你说下你的看法..

TCP的连接是开销非常大的，不仅3次握手，而且涉及大量流资源的分配与回收，因此不建议在应用中使用短连接。
实际中我们在客户端使用连接池来平衡这个短连接的需求与性能的矛盾。
另外应该加上资源快速重用的选项：

1. //避免 TIME_WAIT
   
2.         so_linger.l_onoff=1;
   
3.         so_linger.l_linger=0;
   
4.         ret=setsockopt(sock, SOL_SOCKET, SO_LINGER, &so_linger, sizeof so_linger);
   

复制代码

linux_c_py_php

嗯, 长连接的qps上去了, 各线程D的也比较频繁:

  45897 1361157105
  55452 1361157106
  55568 1361157107
  55280 1361157108
  55597 1361157109
  68456 1361157110
  70471 1361157111
  71232 1361157112
  82036 1361157113
  89670 1361157114
100623 1361157115
114838 1361157116
147511 1361157117
149022 1361157118
144411 1361157119
153535 1361157120
150654 1361157121
147977 1361157122
143775 1361157123
150677 1361157124
144817 1361157125
149307 1361157126

  现在软中断比较猛了, 核用的还不充分, 啥原因引起的D, 这个必须找出来.