linux_c_py_php
发表于 2013-02-20 21:40
cookis 发表于 2013-02-20 20:40 static/image/common/back.gif
回复 76# linux_c_py_php
嗯, 是memcached的架构, 我今天也思考过为什么要在一个epoll fd下开N个线程, 而不是一个epoll fd一个线程, 最终的结论是:一个epoll fd一个线程的伸缩性差, 因为一个epoll fd下的所有socket是串行的, 有一个慢就没得选择只能都等着.
而leader-follower的多个线程共享一个epoll fd, 优点就是一个fd卡了, 其他fd可以使用其他线程工作.
如果正常来说, 我认为一个线程一个epoll和多个线程一个epoll的性能是一样的.
yulihua49
发表于 2013-02-21 10:37
本帖最后由 yulihua49 于 2013-02-21 10:39 编辑
linux_c_py_php 发表于 2013-02-20 21:40 static/image/common/back.gif
嗯, 是memcached的架构, 我今天也思考过为什么要在一个epoll fd下开N个线程, 而不是一个epoll fd一个线 ...
我抽了疯了,非要试试用select做线程池。
用你的程序,费劲千辛万苦,终于弄出来了。
一个连接看来还行。
10个连接上去,光是select线程,cpu 100%,其他CPU基本0。
现在还在跑,没日子出来。
linux_c_py_php
发表于 2013-02-21 11:09
yulihua49 发表于 2013-02-21 10:37 static/image/common/back.gif
我抽了疯了,非要试试用select做线程池。
用你的程序,费劲千辛万苦,终于弄出来了。
一个连接看来还行 ...
额, select这么屌丝... select只能处理fd<1024的描述符, 怎么破,
yulihua49
发表于 2013-02-21 11:14
linux_c_py_php 发表于 2013-02-21 11:09 static/image/common/back.gif
额, select这么屌丝... select只能处理fd
这个先不用扩展,能干活就行。
你做过select的吗?
linux_c_py_php
发表于 2013-02-21 11:18
yulihua49 发表于 2013-02-21 11:14 static/image/common/back.gif
这个先不用扩展,能干活就行。
你做过select的吗?
木有啊, 不知道1024这个问题怎么解决...
select的话就one event per thread了吧... 没有epoll线程安全这些特性了..
yulihua49
发表于 2013-02-21 12:13
linux_c_py_php 发表于 2013-02-21 11:18 static/image/common/back.gif
木有啊, 不知道1024这个问题怎么解决...
select的话就one event per thread了吧... 没有epoll线程安 ...
1024不解决,限于连接数<1024的应用。
linux_c_py_php
发表于 2013-02-21 12:33
yulihua49 发表于 2013-02-21 12:13 static/image/common/back.gif
1024不解决,限于连接数
额, 我在给那个server.c做lua接口, 做完放出来, 嘿嘿, 考虑到leader-follower就不支持yield了, 直接阻塞一路完成.
linux_c_py_php
发表于 2013-02-21 14:56
引入lua啦, 代码在1楼.
性能掉了1/2, 我得看看慢在哪里, 擦.
linux_c_py_php
发表于 2013-02-21 15:52
profile结果, 发现lua_loadstring开销最大, 我要优化掉, 把lua代码存在main thread里, 每次pushvalue拷贝一份, 然后xmove给coroutine thread.
linux_c_py_php
发表于 2013-02-21 16:08
好吧, 发现xmove不过去, 不知为何
linux_c_py_php 发表于 2013-02-21 15:52 static/image/common/back.gif
profile结果, 发现lua_loadstring开销最大, 我要优化掉, 把lua代码存在main thread里, 每次pushvalue拷贝一 ...