Fiberized.IO与libevent性能对比

yulihua49

zai waidi  shiyong  GSM hot  ap   
hanzi buxing.

windoze

回复 11# yulihua49

看你的帖子累死了，你在什么山沟里啊，连个3G/4G都没有？

sqfasd

1. #include <event.h>
   
2. #include <event2/http.h>
   
3. 
   
4. static void HelloHandler(struct evhttp_request* req, void* ctx) {
   
5.   struct evbuffer * output_buffer = evhttp_request_get_output_buffer(req);
   
6.   evbuffer_add_printf(output_buffer, "world\n");
   
7.   evhttp_send_reply(req, HTTP_OK, "OK", output_buffer);
   
8. }
   
9. 
   
10. int main(int argc, char* argv[]) {
    
11.   struct event_base* evbase = event_base_new();
    
12.   struct evhttp* http = evhttp_new(evbase);
    
13.   evhttp_set_cb(http, "/hello", HelloHandler, NULL);
    
14.   evhttp_bind_socket_with_handle(http, "0.0.0.0", 12345);
    
15.   event_base_dispatch(evbase);
    
16. }
    

复制代码

1. g++ testlibevent.cc -levent

复制代码

上午发的是在家测的，现在在公司，不方便再编译一遍Fiberized.IO，等我回家再做一下对比测试
上面是libevent的代码，你可以测试对比下，我开启了ab的-k以后，qps是可以翻倍的

sqfasd

yulihua49 发表于 2015-04-30 11:00
shouji de hanzi youwenti

both program is C++?

-c concurrency  Number of multiple requests to make at a time

concurrency不是线程数，是并发的异步请求

windoze

回复 13# sqfasd

在同一台电脑上做了测试，性能和fibio相当

1. 
   
2. $ ab -k -c 100 -n 100000 127.0.0.1:12345/hello
   
3. This is ApacheBench, Version 2.3 <$Revision: 1604373 $>
   
4. Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
   
5. Licensed to The Apache Software Foundation, http://www.apache.org/
   
6. 
   
7. Benchmarking 127.0.0.1 (be patient)
   
8. Completed 10000 requests
   
9. Completed 20000 requests
   
10. Completed 30000 requests
    
11. Completed 40000 requests
    
12. Completed 50000 requests
    
13. Completed 60000 requests
    
14. Completed 70000 requests
    
15. Completed 80000 requests
    
16. Completed 90000 requests
    
17. Completed 100000 requests
    
18. Finished 100000 requests
    
19. 
    
20. 
    
21. Server Software:        
    
22. Server Hostname:        127.0.0.1
    
23. Server Port:            12345
    
24. 
    
25. Document Path:          /hello
    
26. Document Length:        6 bytes
    
27. 
    
28. Concurrency Level:      100
    
29. Time taken for tests:   3.183 seconds
    
30. Complete requests:      100000
    
31. Failed requests:        0
    
32. Keep-Alive requests:    100000
    
33. Total transferred:      11300000 bytes
    
34. HTML transferred:       600000 bytes
    
35. Requests per second:    31417.35 [#/sec] (mean)
    
36. Time per request:       3.183 [ms] (mean)
    
37. Time per request:       0.032 [ms] (mean, across all concurrent requests)
    
38. Transfer rate:          3466.95 [Kbytes/sec] received
    
39. 
    
40. Connection Times (ms)
    
41.               min  mean[+/-sd] median   max
    
42. Connect:        0    0   0.1      0       3
    
43. Processing:     1    2   0.2      2       9
    
44. Waiting:        1    2   0.2      2       9
    
45. Total:          1    2   0.2      2       9
    
46. 
    
47. Percentage of the requests served within a certain time (ms)
    
48.   50%      2
    
49.   66%      2
    
50.   75%      2
    
51.   80%      2
    
52.   90%      3
    
53.   95%      3
    
54.   98%      3
    
55.   99%      3
    
56. 100%      9 (longest request)
    

复制代码

windoze

回复 13# sqfasd

其实单就性能而言，fibio-http应该会比libevent/evhttp差一点的，因为fibio-http明显多做了很多事，比如所有数据会多一次copy（天杀的C++ stream）；每个连接都会新建一个fiber（内存分配）；coroutine切换还是要比单纯的callback funciton要慢不少（虽然已经比thread切换块很多了）。
不过我认为付出这些代价是值得的，因为换来了线性的程序结构，换来了和标准兼容的（天杀的）C++ stream，换来了很多multi-thread环境下积累的经验和库，这些是libevent无法提供的。

cokeboL

回复 16# windoze


    是不是像golang一样舒坦

sqfasd

windoze 发表于 2015-04-30 17:02
回复 13# sqfasd

其实单就性能而言，fibio-http应该会比libevent/evhttp差一点的，因为fibio-http明显多 ...

我看到你框架里提供了一个redis的客户端，是基于网络协议重新实现的
如果我想使用一个mongodb的客户端，是不是也得重新实现？官方提供了一个阻塞版的mongo driver，能方便的集成到协程框架吗？
我用libevent的时候，是搞了个连接池，然后通过socket pair通知到libevent事件循环中

我的意思是一般服务器很少只做本地运算，一般都要请求其他服务的，如果第三方的库不能很方便的集成到框架中，那使用起来会很麻烦。
你看响马搞的fiber.js，内置大量的第三方的客户端的库，工作量应该很大吧

对了，你测的那个Fiberized.IO的代码是多线程吗，能不能贴出来，我下班回家试试

windoze

回复 18# sqfasd

测试代码就是你贴的那个，反正在我这里性能差别不明显，重复几遍测试，同是单线程的话libevent大概比fibio快个10~15%左右的样子。

fibio默认使用单个worker thread，需要增加用：

1. fibio::this_fiber::get_scheduler().add_worker_thread(n)

复制代码

这个函数在当前fiber所属的scheduler里创建n个worker thread（fibio支持多个scheduler，每个scheduler都有自己的worker thread pool）

集成第三方库是有点烦的，大致你可以有这些做法：
1、像fibio自带的redis client一样，按照网络协议重新实现一个，这样做可以充分利用fibio的功能，但是最麻烦
2、想办法把第三方库所用的socket抽出来加入fibio的event loop，由于fibio是一个proactor风格的库，不是reactor风格，所以不能用常见的test/action事件循环，只能用boost asio里的async_*，这样十有八九你还是需要改第三方库的源代码，不过工作量应该小一些
3、用fibio里的forgien thread pool，让第三方库在单独的线程里执行，然后通过concurrent_queue与fiber通信，这样应该最简单，但是效率等方面会受些影响，印象中node.js里很多第三方库就是用类似的方法集成的。

sqfasd

windoze 发表于 2015-04-30 20:32
回复 18# sqfasd

测试代码就是你贴的那个，反正在我这里性能差别不明显，重复几遍测试，同是单线程的话 ...

嗯，我现在就是用的也是第三种方法，线程池＋blocking queue

我又测了下，加上-k参数后
fibio提高到15000+ qps
但是libevent到了5w+了

都是单线程，　怎么跟你测的差距那么打，　你测试的fibio是多线程吧

补充下，我是在你的官网下的压缩包，不是从github clone的，boost版本还是1.56，我看你最新的已经是1.57了，会不会是这个原因