ASIO,无锁,高并发,高可靠, 统一,网络架构,抗DOS,低端4核心服务器CPU 每秒87万QPS ECHO

windoze

回复 96# wlmqgzm

1. Lock free的各种实现都必须用到memory barrier，否则你根本做不出来
2. SSE指令不是原子操作，不能保证数的完整性和一致性
3. 在这种场合下checksum不能就地检测数据错误，除非你把整块数据copy出来自己再算一遍

所以你能做的就是：
要么把所有数据操作集中在1个thread里，就像redis那样，当然你可以用多个thread处理I/O
要么就使用race-free的数据结构保存数据，比如lock-free hash table或者干脆加把锁
这两个方案会导致所有的数据写操作都实际变成单线程，对你的系统吞吐量是有影响的。
想要降低这种影响，你只能切分数据，比如把一个hash table切成若干个，每个core/thread专门负责一个，这样可以降低冲突概率。
类似的手段就是集群，干脆把数据切分到多台机器上去，也一样可以降低冲突概率。

wlmqgzm

回复 97# hellioncu


    因为只是类似memcache的东西, 允许老数据存在, 允许cache数据与主库数据不一致. 数据结构中有time, 过期无效.

其实只是一个memcache同样功能的东西, 就是性能更好一点.  memcache有的缺点, 它都有, 这个不是颠覆性的新东西.

wlmqgzm

回复 98# windoze

1. Lock free的各种实现都必须用到memory barrier，否则你根本做不出来
答复:  这个很简单, 因为没有调用那么低层次的代码, 直接使用Boost库, 库里面应该考虑了这些, 就是直接使用Boost::lock-free::queue,  就三行代码.construct, push, pop

2. SSE指令不是原子操作，不能保证数的完整性和一致性
答复:  SSE指令就是一个校验的作用, 在前面给其他人的回复中, 有具体的说明.

3. 在这种场合下checksum不能就地检测数据错误，除非你把整块数据copy出来自己再算一遍
答复:   读, 是Memcpy, 先一次性读到本地栈的struct中, 然后再处理.     写, 是先在本地栈操作完毕后, 一次性写到hash表中, Memcpy.

对于方案一, 做内存数据库, 存在大量单线程的情况, 就是分摊了数据, 这个没有什么好办法, 就是用单线程解决问题.  但是数据切分多块以后, 提高了总体对外的表现.
对于方案二, 就是只做类似memcache的东西, 可以实现单线程写, 多线程读, 提供比目前memcache性能更好的替代方案. 写是只能单线程, 没有什么好办法.读性能会高一些.

基本上2套方案, 对应的是两套不同的产品, 整体的技术架构, 各实现的主要技术难点, 基本上应该在讨论中都有具体的解决方案,
我觉得cache的总体设计框架基本就这样定型了, 只是实现细节还有不少, 难度上讲, cache的实现要简单一些.

内存数据库无论大小都是非常多的人力资源堆出来的东西, 除非走捷径, 我的思路是要拿MYSQL挡一下, 减少代码量, 具体思路, 以后再讨论.  

   

wlmqgzm

另外, 无锁架构不只我以上提的2种, 我是第一次做无锁代码的程序员,

社会上应该还有很多不同的技术路线, 在此抛砖引玉, 希望大家都谈一下, 有无更好的技术路线.  一起讨论下, ;

windoze

回复 100# wlmqgzm

你直接使用Boost::lock-free::queue一样在底下用到了memory barrier，从性能角度将没有区别，无非就是代码少点。
copy出来再检查会极大的影响性能，正确的做法是在数据结构中存指针，然后你就可以用原子切换指针操作来更新value，也可以彻底避免掉这个checksum。但这样带来的问题是你还得准备一个lock free allocator，否则你前面的所有lock free设计都失去了意义。

另外lock free涉及到的地方可能有两处，一处是operation queue，另一处是实际存放数据的数据结构，如果你只用单一线程处理所有的数据操作（包括读操作），存放数据的数据结构不需要是lock free的，怎么做都行，但如果读写可能分离在两个线程里，这个结构也得是lock free的，或者就得加锁，否则并发的读写会有race condition。
前一个lock free operation queue你可以用boost的，但后一个得自己搞，而且比较麻烦。

wlmqgzm

ASIO的高并发重连测试 通过

改进1, 对网络每个连接使用的内存进行监控, 单次收发包处理完毕后, 对于单个连接超过200KByte的内存予以释放, 其他情况内存可以在下个收发包继续使用(不用申请新的内存), 改进了未来其他客户端收发大数据结构以后对内存的占用情况.  
连接建立后, 首次收发包, 先申请收发和暂存各4KByte内存, 以后只要包大小不超过4KByte都不需要申请, 重复使用.

改进2: 对socket_soft_close限制使用, 使用ASIO socket析构的方式close,  也是soft_close
测试中发现, 先soft_close, 再析构socket的方式, 如果ASIO底层正在拆线, ASIO上层与底层线程存在小概率状态存取冲突, 以及代码效率稍微低一点的问题
完全用析构的方式close, 高并发冲击重连测试数亿次, 未再发现问题, 可以确定解决此问题.

目前总体框架经过高并发重连数亿次,冲击测试, 未发现缺陷.

windoze

回复 103# wlmqgzm

ip::tcp::socket
The TCP socket type.
typedef basic_stream_socket< tcp > socket;

Thread Safety
Distinct objects: Safe.
Shared objects: Unsafe.

wlmqgzm

刚测试了一下, 4核心8线程CPU大约是70多万QPS ECHO的处理能力, 现在提高CPU数量, 带来的增加还是比较明显的,  比原来的2核心2线程快了2倍多的速度.
测试中程序占有率超过730%, CPU的8个线程基本都超过90%以上, 占满了.
其中包括3个ab测试程序99%占有率, echo_server430%占有率,
目前主要的瓶颈, 还是在代码自身的处理能力, 还没有涉及IO等, 估计继续扩容CPU是最简单的办法, 预计再增加1倍的CPU数量, 还可以带来线性的增长.

guo@guo-desktop:~$ (ab -n 10000000 -c 50 -k h ttp://127.0.0.1:1971/jjjjjjjjjjjjj &);(ab -n 10000000 -c 50 -k h ttp://127.0.0.1:1971/jjjjjjjjjjjjj &);(ab -n 10000000 -c 50 -k h ttp://127.0.0.1:1971/jjjjjjjjjjjjj);
This is ApacheBench, Version 2.3 <$Revision: 1604373 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd,
Licensed to The Apache Software Foundation,

Benchmarking 127.0.0.1 (be patient)
This is ApacheBench, Version 2.3 <$Revision: 1604373 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd,
Licensed to The Apache Software Foundation,

Benchmarking 127.0.0.1 (be patient)
This is ApacheBench, Version 2.3 <$Revision: 1604373 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd,
Licensed to The Apache Software Foundation,

Benchmarking 127.0.0.1 (be patient)
Completed 1000000 requests
Completed 1000000 requests
Completed 1000000 requests
Completed 2000000 requests
Completed 2000000 requests
Completed 2000000 requests
Completed 3000000 requests
Completed 3000000 requests
Completed 3000000 requests
Completed 4000000 requests
Completed 4000000 requests
Completed 4000000 requests
Completed 5000000 requests
Completed 5000000 requests
Completed 5000000 requests
Completed 6000000 requests
Completed 6000000 requests
Completed 6000000 requests
Completed 7000000 requests
Completed 7000000 requests
Completed 7000000 requests
Completed 8000000 requests
Completed 8000000 requests
Completed 8000000 requests
Completed 9000000 requests
Completed 9000000 requests
Completed 9000000 requests
Completed 10000000 requests
Finished 10000000 requests


Server Software:        
Server Hostname:        127.0.0.1
Server Port:            1971

Document Path:          /jjjjjjjjjjjjj
Document Length:        0 bytes

Concurrency Level:      50
Time taken for tests:   41.873 seconds
Complete requests:      10000000
Failed requests:        0
Non-2xx responses:      10000000
Keep-Alive requests:    10000000
Total transferred:      1190000000 bytes
HTML transferred:       0 bytes
Requests per second:    238818.25 [#/sec] (mean)
Time per request:       0.209 [ms] (mean)
Time per request:       0.004 [ms] (mean, across all concurrent requests)
Transfer rate:          27753.29 [Kbytes/sec] received
Completed 10000000 requests
Finished 10000000 requests


Server Software:        
Server Hostname:        127.0.0.1
Server Port:            1971

Document Path:          /jjjjjjjjjjjjj
Document Length:        0 bytes

Concurrency Level:      50
Time taken for tests:   42.141 seconds
Complete requests:      10000000
Failed requests:        0
Non-2xx responses:      10000000
Keep-Alive requests:    10000000
Total transferred:      1190000000 bytes
HTML transferred:       0 bytes
Requests per second:    237299.53 [#/sec] (mean)
Time per request:       0.211 [ms] (mean)
Time per request:       0.004 [ms] (mean, across all concurrent requests)
Transfer rate:          27576.80 [Kbytes/sec] received
Completed 10000000 requests
Finished 10000000 requests


Server Software:        
Server Hostname:        127.0.0.1
Server Port:            1971

Document Path:          /jjjjjjjjjjjjj
Document Length:        0 bytes

Concurrency Level:      50
Time taken for tests:   42.761 seconds
Complete requests:      10000000
Failed requests:        0
Non-2xx responses:      10000000
Keep-Alive requests:    10000000
Total transferred:      1190000000 bytes
HTML transferred:       0 bytes
Requests per second:    233858.74 [#/sec] (mean)
Time per request:       0.214 [ms] (mean)
Time per request:       0.004 [ms] (mean, across all concurrent requests)
Transfer rate:          27176.94 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.0      0       3
Processing:     0    0   0.1      0      21
Waiting:        0    0   0.1      0      21
Total:          0    0   0.1      0      21

Percentage of the requests served within a certain time (ms)
  50%      0
  66%      0
  75%      0
  80%      0
  90%      0
  95%      0
  98%      0
  99%      0
100%     21 (longest request)
guo@guo-desktop:~$
Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.0      0       2
Processing:     0    0   0.1      0      21
Waiting:        0    0   0.1      0      21
Total:          0    0   0.1      0      21

Percentage of the requests served within a certain time (ms)
  50%      0
  66%      0
  75%      0
  80%      0
  90%      0
  95%      0
  98%      0
  99%      0
100%     21 (longest request)

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.0      0       4
Processing:     0    0   0.1      0      21
Waiting:        0    0   0.1      0      21
Total:          0    0   0.1      0      21

Percentage of the requests served within a certain time (ms)
  50%      0
  66%      0
  75%      0
  80%      0
  90%      0
  95%      0
  98%      0
  99%      0
100%     21 (longest request)

wlmqgzm

前面双核G3258的主频是3.8G(我超频使用了,默认频率3.2G),  这次测试的CPU是4核心8线程 E3-1231V3(主频3.4G,未超频), 是完全线性增长,
说明: 目前开发的代码对于多CPU的利用率非常好, 可以充分发挥多核心的处理能力, 随着CPU的扩容, 处理能力也会大幅度提高.

开2组测试程序ab的测试情况, 56万QPS ECHO
其中包括2组ab测试程序99%占有率, echo_server345%占有率, 累计CPU占有率545%

guo@guo-desktop:~$ (ab -n 10000000 -c 50 -k h ttp://127.0.0.1:1971/jjjjjjjjjjjjj &);(ab -n 10000000 -c 50 -k h ttp://127.0.0.1:1971/jjjjjjjjjjjjj &);
guo@guo-desktop:~$ This is ApacheBench, Version 2.3 <$Revision: 1604373 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd,
Licensed to The Apache Software Foundation,

Benchmarking 127.0.0.1 (be patient)
This is ApacheBench, Version 2.3 <$Revision: 1604373 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd,
Licensed to The Apache Software Foundation,

Benchmarking 127.0.0.1 (be patient)
Completed 1000000 requests
Completed 1000000 requests
Completed 2000000 requests
Completed 2000000 requests
Completed 3000000 requests
Completed 3000000 requests
Completed 4000000 requests
Completed 4000000 requests
Completed 5000000 requests
Completed 5000000 requests
Completed 6000000 requests
Completed 6000000 requests
Completed 7000000 requests
Completed 7000000 requests
Completed 8000000 requests
Completed 8000000 requests
Completed 9000000 requests
Completed 9000000 requests
Completed 10000000 requests
Finished 10000000 requests


Server Software:        
Server Hostname:        127.0.0.1
Server Port:            1971

Document Path:          /jjjjjjjjjjjjj
Document Length:        0 bytes

Concurrency Level:      50
Time taken for tests:   35.640 seconds
Complete requests:      10000000
Failed requests:        0
Non-2xx responses:      10000000
Keep-Alive requests:    10000000
Total transferred:      1190000000 bytes
HTML transferred:       0 bytes
Requests per second:    280584.26 [#/sec] (mean)
Time per request:       0.178 [ms] (mean)
Time per request:       0.004 [ms] (mean, across all concurrent requests)
Transfer rate:          32606.96 [Kbytes/sec] received
Completed 10000000 requests
Finished 10000000 requests


Server Software:        
Server Hostname:        127.0.0.1
Server Port:            1971

Document Path:          /jjjjjjjjjjjjj
Document Length:        0 bytes

Concurrency Level:      50
Time taken for tests:   35.696 seconds
Complete requests:      10000000
Failed requests:        0
Non-2xx responses:      10000000
Keep-Alive requests:    10000000
Total transferred:      1190000000 bytes
HTML transferred:       0 bytes
Requests per second:    280143.11 [#/sec] (mean)
Time per request:       0.178 [ms] (mean)
Time per request:       0.004 [ms] (mean, across all concurrent requests)
Transfer rate:          32555.69 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.0      0       1
Processing:     0    0   0.1      0      18
Waiting:        0    0   0.1      0      18
Total:          0    0   0.1      0      18

Percentage of the requests served within a certain time (ms)
  50%      0
  66%      0
  75%      0
  80%      0
  90%      0
  95%      0
  98%      0
  99%      0
100%     18 (longest request)

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        0    0   0.0      0       1
Processing:     0    0   0.1      0      18
Waiting:        0    0   0.1      0      18
Total:          0    0   0.1      0      18

Percentage of the requests served within a certain time (ms)
  50%      0
  66%      0
  75%      0
  80%      0
  90%      0
  95%      0
  98%      0
  99%      0
100%     18 (longest request)

wlmqgzm

回复 104# windoze

前面说的绕过去的问题是: 因为以前close前 socket1.set_option(option),
虽然在进入soft_close前检查了socket还连接着, 但是进入函数后后, 大并发下, 偶然出现 这个代码在关闭的socket上无法执行,引发错误告警.
有2个办法可以绕过去:
1)使用socket析构退出.
2)soft_close本来就是默认, 不设置此参数.
已经都这么做了,解决了,测试上亿冲击, 都再无告警提示.

void Asio_tcp_server::socket_soft_close( boost::asio::ip::tcp::socket &socket1,
    int socket_handle_init )
{
//  boost::asio::socket_base::linger option( false, 0 );
  if( d_display_level>=5 )  {
    log_message_int("soft close. socket", socket_handle_init );
    }
//  socket1.set_option(option);
  socket1.close();
  return;
}