linux_c_py_php 发表于 2013-02-20 21:40

cookis 发表于 2013-02-20 20:40 static/image/common/back.gif
回复 76# linux_c_py_php




嗯, 是memcached的架构, 我今天也思考过为什么要在一个epoll fd下开N个线程, 而不是一个epoll fd一个线程, 最终的结论是:一个epoll fd一个线程的伸缩性差, 因为一个epoll fd下的所有socket是串行的, 有一个慢就没得选择只能都等着.

而leader-follower的多个线程共享一个epoll fd, 优点就是一个fd卡了, 其他fd可以使用其他线程工作.

如果正常来说, 我认为一个线程一个epoll和多个线程一个epoll的性能是一样的.

yulihua49 发表于 2013-02-21 10:37

本帖最后由 yulihua49 于 2013-02-21 10:39 编辑

linux_c_py_php 发表于 2013-02-20 21:40 static/image/common/back.gif
嗯, 是memcached的架构, 我今天也思考过为什么要在一个epoll fd下开N个线程, 而不是一个epoll fd一个线 ...
我抽了疯了,非要试试用select做线程池。
用你的程序,费劲千辛万苦,终于弄出来了。
一个连接看来还行。
10个连接上去,光是select线程,cpu 100%,其他CPU基本0。
现在还在跑,没日子出来。

linux_c_py_php 发表于 2013-02-21 11:09

yulihua49 发表于 2013-02-21 10:37 static/image/common/back.gif
我抽了疯了,非要试试用select做线程池。
用你的程序,费劲千辛万苦,终于弄出来了。
一个连接看来还行 ...

额, select这么屌丝... select只能处理fd<1024的描述符, 怎么破,

yulihua49 发表于 2013-02-21 11:14

linux_c_py_php 发表于 2013-02-21 11:09 static/image/common/back.gif
额, select这么屌丝... select只能处理fd
这个先不用扩展,能干活就行。
你做过select的吗?

linux_c_py_php 发表于 2013-02-21 11:18

yulihua49 发表于 2013-02-21 11:14 static/image/common/back.gif
这个先不用扩展,能干活就行。
你做过select的吗?

木有啊, 不知道1024这个问题怎么解决...

select的话就one event per thread了吧... 没有epoll线程安全这些特性了..

yulihua49 发表于 2013-02-21 12:13

linux_c_py_php 发表于 2013-02-21 11:18 static/image/common/back.gif
木有啊, 不知道1024这个问题怎么解决...

select的话就one event per thread了吧... 没有epoll线程安 ...
1024不解决,限于连接数<1024的应用。

linux_c_py_php 发表于 2013-02-21 12:33

yulihua49 发表于 2013-02-21 12:13 static/image/common/back.gif
1024不解决,限于连接数

额, 我在给那个server.c做lua接口, 做完放出来, 嘿嘿, 考虑到leader-follower就不支持yield了, 直接阻塞一路完成.

linux_c_py_php 发表于 2013-02-21 14:56

引入lua啦, 代码在1楼.

性能掉了1/2, 我得看看慢在哪里, 擦.

linux_c_py_php 发表于 2013-02-21 15:52

profile结果, 发现lua_loadstring开销最大, 我要优化掉, 把lua代码存在main thread里, 每次pushvalue拷贝一份, 然后xmove给coroutine thread.

linux_c_py_php 发表于 2013-02-21 16:08

好吧, 发现xmove不过去, 不知为何

linux_c_py_php 发表于 2013-02-21 15:52 static/image/common/back.gif
profile结果, 发现lua_loadstring开销最大, 我要优化掉, 把lua代码存在main thread里, 每次pushvalue拷贝一 ...
页: 1 2 3 4 5 6 7 8 9 10 [11] 12 13 14 15 16 17 18 19 20
查看完整版本: [基于Epoll内置Leader-Follower服务端实现, 已可达50万echo qps(全新支持Lua啦)]