免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: linux_c_py_php

[其他] [基于Epoll内置Leader-Follower服务端实现, 已可达50万echo qps(全新支持Lua啦)] [复制链接]

论坛徽章:
0
发表于 2013-02-28 09:02 |显示全部楼层
yulihua49 发表于 2013-02-26 16:58
没close,FD_CLR.....清除事件,sched线程只处理事件,不处理IO!!!!


为啥要用FD_CLR? 看我这个提问:
http://bbs.chinaunix.net/thread-4069105-1-1.html

论坛徽章:
15
射手座
日期:2014-11-29 19:22:4915-16赛季CBA联赛之青岛
日期:2017-11-17 13:20:09黑曼巴
日期:2017-07-13 19:13:4715-16赛季CBA联赛之四川
日期:2017-02-07 21:08:572015年亚冠纪念徽章
日期:2015-11-06 12:31:58每日论坛发贴之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-07-12 22:20:002015亚冠之浦和红钻
日期:2015-07-08 10:10:132015亚冠之大阪钢巴
日期:2015-06-29 11:21:122015亚冠之广州恒大
日期:2015-05-22 21:55:412015年亚洲杯之伊朗
日期:2015-04-10 16:28:25
发表于 2013-02-28 10:33 |显示全部楼层
本帖最后由 yulihua49 于 2013-02-28 10:56 编辑
iw1210 发表于 2013-02-28 09:02
为啥要用FD_CLR? 看我这个提问:
http://bbs.chinaunix.net/thread-4069105-1-1.html

首先,我答复的是我的程序,与你自己的程序和想法无关。
其次,你没有看我的程序就提问题,你仔细看看我的程序,我清的是select的那些fds吗?根本不是!!!我清掉的是我自己的标志!!
防止活动再次提交,实现ONESHOT。
之所以人家要提供这个功能,必然是有时要用。

爱提问题是你的优点,但是要过过脑子,这个问题你提了多遍,我也回答了多遍了。

论坛徽章:
15
射手座
日期:2014-11-29 19:22:4915-16赛季CBA联赛之青岛
日期:2017-11-17 13:20:09黑曼巴
日期:2017-07-13 19:13:4715-16赛季CBA联赛之四川
日期:2017-02-07 21:08:572015年亚冠纪念徽章
日期:2015-11-06 12:31:58每日论坛发贴之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-07-12 22:20:002015亚冠之浦和红钻
日期:2015-07-08 10:10:132015亚冠之大阪钢巴
日期:2015-06-29 11:21:122015亚冠之广州恒大
日期:2015-05-22 21:55:412015年亚洲杯之伊朗
日期:2015-04-10 16:28:25
发表于 2013-03-25 10:06 |显示全部楼层
linux_c_py_php 发表于 2013-02-18 00:02
程序在论坛众亲友的给力指导下, 在公司内核部门的指导之下, 长连接性能最终达到了50万qps, 短连接性能最 ...

给你测了一下往返时间。
本机往返一次100微秒左右,100M LAN 300微秒左右。

论坛徽章:
1
白羊座
日期:2013-08-20 17:40:23
发表于 2013-03-25 10:40 |显示全部楼层
膜拜+感谢啊{:3_182:}

论坛徽章:
7
天蝎座
日期:2013-09-28 10:45:42双子座
日期:2013-10-16 16:27:09射手座
日期:2013-10-23 10:21:32处女座
日期:2014-09-17 16:44:332015年亚洲杯之巴林
日期:2015-04-09 17:28:01冥斗士
日期:2015-11-26 16:19:0015-16赛季CBA联赛之山东
日期:2018-03-02 23:59:31
发表于 2013-09-12 15:29 |显示全部楼层
本帖最后由 cxytz01 于 2013-09-12 15:57 编辑

lz,你的workerThread这里虽然弄成了多线程并行,但实际上EPOLLONESHOT这个选项使其变成了单线程模式。

workerThread的工作内容
1.epoll_wait
2.handleWriteEvent
3.handleReadEvent
4.重新注册fd

有没有想过,在同一个group的线程里面,全都epoll_wait同一个epfd(假如是长链,那么就只有一个epfd),其中一个线程首先被成功唤醒,在被唤醒的同时,fd被反注册,接着,执行2、3、4步骤。其他线程此时还是阻塞在epoll_wait这里,就算fd里面有数据,也依然阻塞,只有到首先唤醒的线程执行完4步骤,其他线程才会成功唤醒。

但是,首次唤醒的线程第4个步骤执行完毕,也就意味着它的流程也全部结束了。接下来也就是重新执行,继续epoll_wait。 因此EPOLLONESHOT实际上把你的group内的线程弄成了单线程模式,反而增加了调度的开销。

个人愚见。

如果不加上EPOLLONESHOT,LT模式,多线程epoll_wait又会出现问题。
线程1:epoll_wait,成功唤醒,进行recv的过程中。
线程2:线程1recv的过程中,线程2刚好执行到epoll_wait,发现buffer内还有数据,又被成功唤醒,接着recv。

--请注意,这里谈的不是惊群,也不是线程安全。而是两个线程在不同的时刻进行了epoll_wait,而不是同时进行了epoll_wait!

所以,多线程并发epoll_wait,不管是否使用EPOLLONESHOT都会有问题的吧?

当然,如果你的workerThread增加了5、6、7、8 ~ n步骤,在第4步骤执行完毕之后就是并行的了,第4步骤执行完成之前,一直都是单线程的。

论坛徽章:
15
射手座
日期:2014-11-29 19:22:4915-16赛季CBA联赛之青岛
日期:2017-11-17 13:20:09黑曼巴
日期:2017-07-13 19:13:4715-16赛季CBA联赛之四川
日期:2017-02-07 21:08:572015年亚冠纪念徽章
日期:2015-11-06 12:31:58每日论坛发贴之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-07-12 22:20:002015亚冠之浦和红钻
日期:2015-07-08 10:10:132015亚冠之大阪钢巴
日期:2015-06-29 11:21:122015亚冠之广州恒大
日期:2015-05-22 21:55:412015年亚洲杯之伊朗
日期:2015-04-10 16:28:25
发表于 2013-09-14 21:49 |显示全部楼层
本帖最后由 yulihua49 于 2013-09-14 22:09 编辑
cxytz01 发表于 2013-09-12 15:29
lz,你的workerThread这里虽然弄成了多线程并行,但实际上EPOLLONESHOT这个选项使其变成了单线程模式。

...

有没有想过,在同一个group的线程里面,全都epoll_wait同一个epfd(假如是长链,那么就只有一个epfd),其中一个线程首先被成功唤醒,在被唤醒的同时,fd被反注册,接着,执行2、3、4步骤。其他线程此时还是阻塞在epoll_wait这里,就算fd里面有数据,也依然阻塞,只有到首先唤醒的线程执行完4步骤,其他线程才会成功唤醒。

你没弄明白吧?大家已经制作了无数的应用系统,进行了无数测试。你试试再说好吗?
事实是:其中一个线程首先被成功唤醒后,再隔3-7微秒就会唤醒下一个线程(如果有其它fd活动的话),不管先前唤醒的线程在干啥(与啥步骤毫无关系)。
这就是为什么单队列只能达到15Wqps左右。
压力测试的结果,所有线程都会动起来,CPU接近N×100%,所有核的负载也接近均衡。
”只热一次“,对这个激活的fd而言,而非对epfd。

论坛徽章:
0
发表于 2014-01-13 16:26 |显示全部楼层
[ 本帖最后由 primer4 于 2014-01-13 16:26 编辑 ]

server.c 编译不过

# gcc server.c  -o server
server.c: In function ‘handleReadEvent’:
server.c:143:13: warning: format ‘%d’ expects argument of type ‘int’, but argument 2 has type ‘time_t’ [-Wformat=]
             printf("request_finish_time=%d\n", time(NULL));
             ^
/tmp/cc3t17yf.o: In function `main':
server.c:(.text+0x91c): undefined reference to `pthread_create'
server.c:(.text+0x97a): undefined reference to `pthread_create'
server.c:(.text+0x9c3): undefined reference to `pthread_join'
server.c:(.text+0x9e7): undefined reference to `pthread_join'
collect2: error: ld returned 1 exit status

论坛徽章:
15
射手座
日期:2014-11-29 19:22:4915-16赛季CBA联赛之青岛
日期:2017-11-17 13:20:09黑曼巴
日期:2017-07-13 19:13:4715-16赛季CBA联赛之四川
日期:2017-02-07 21:08:572015年亚冠纪念徽章
日期:2015-11-06 12:31:58每日论坛发贴之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-07-12 22:20:002015亚冠之浦和红钻
日期:2015-07-08 10:10:132015亚冠之大阪钢巴
日期:2015-06-29 11:21:122015亚冠之广州恒大
日期:2015-05-22 21:55:412015年亚洲杯之伊朗
日期:2015-04-10 16:28:25
发表于 2014-01-14 14:05 |显示全部楼层
primer4 发表于 2014-01-13 16:26
[ 本帖最后由 primer4 于 2014-01-13 16:26 编辑 ]

server.c 编译不过

gcc server.c  -o server -lphread

论坛徽章:
4
水瓶座
日期:2013-09-06 12:27:30摩羯座
日期:2013-09-28 14:07:46处女座
日期:2013-10-24 14:25:01酉鸡
日期:2014-04-07 11:54:15
发表于 2014-01-14 17:27 |显示全部楼层
primer4 发表于 2014-01-13 16:26
[ 本帖最后由 primer4 于 2014-01-13 16:26 编辑 ]

server.c 编译不过


这种报错也需要来问吗? -。-

论坛徽章:
0
发表于 2014-01-16 12:32 |显示全部楼层
请求数据的大小和返回数据的大小是多少BYTE?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP