[基于Epoll内置Leader-Follower服务端实现, 已可达50万echo qps（全新支持Lua啦）]

linux_c_py_php

cookis 发表于 2013-02-20 20:40
回复 76# linux_c_py_php

嗯, 是memcached的架构, 我今天也思考过为什么要在一个epoll fd下开N个线程, 而不是一个epoll fd一个线程, 最终的结论是:一个epoll fd一个线程的伸缩性差, 因为一个epoll fd下的所有socket是串行的, 有一个慢就没得选择只能都等着.

而leader-follower的多个线程共享一个epoll fd, 优点就是一个fd卡了, 其他fd可以使用其他线程工作.

如果正常来说, 我认为一个线程一个epoll和多个线程一个epoll的性能是一样的.

yulihua49

linux_c_py_php 发表于 2013-02-20 21:40
嗯, 是memcached的架构, 我今天也思考过为什么要在一个epoll fd下开N个线程, 而不是一个epoll fd一个线 ...

我抽了疯了，非要试试用select做线程池。
用你的程序，费劲千辛万苦，终于弄出来了。
一个连接看来还行。
10个连接上去，光是select线程，cpu 100%，其他CPU基本0。
现在还在跑，没日子出来。

linux_c_py_php

yulihua49 发表于 2013-02-21 10:37
我抽了疯了，非要试试用select做线程池。
用你的程序，费劲千辛万苦，终于弄出来了。
一个连接看来还行 ...

额, select这么屌丝... select只能处理fd<1024的描述符, 怎么破,

yulihua49

linux_c_py_php 发表于 2013-02-21 11:09
额, select这么屌丝... select只能处理fd

这个先不用扩展，能干活就行。
你做过select的吗？

linux_c_py_php

yulihua49 发表于 2013-02-21 11:14
这个先不用扩展，能干活就行。
你做过select的吗？

木有啊, 不知道1024这个问题怎么解决...

select的话就one event per thread了吧... 没有epoll线程安全这些特性了..

yulihua49

linux_c_py_php 发表于 2013-02-21 11:18
木有啊, 不知道1024这个问题怎么解决...

select的话就one event per thread了吧... 没有epoll线程安 ...

1024不解决，限于连接数<1024的应用。

linux_c_py_php

yulihua49 发表于 2013-02-21 12:13
1024不解决，限于连接数

额, 我在给那个server.c做lua接口, 做完放出来, 嘿嘿, 考虑到leader-follower就不支持yield了, 直接阻塞一路完成.

linux_c_py_php

引入lua啦, 代码在1楼.

性能掉了1/2, 我得看看慢在哪里, 擦.

linux_c_py_php

profile结果, 发现lua_loadstring开销最大, 我要优化掉, 把lua代码存在main thread里, 每次pushvalue拷贝一份, 然后xmove给coroutine thread.

linux_c_py_php

好吧, 发现xmove不过去, 不知为何

linux_c_py_php 发表于 2013-02-21 15:52
profile结果, 发现lua_loadstring开销最大, 我要优化掉, 把lua代码存在main thread里, 每次pushvalue拷贝一 ...