socket吞吐量和时延的困惑

remaper

hi,各位好

请教一个问题，最近做了个测试，机器8core + 12G内存，两台机器，ping值0.1ms
一台部署client
一台部署server
数据包大小512bytes

同步模式下（发一个收一个，再发一个收一个），8线程，每个线程32个socket，
使用epoll来管理数据包的收发，总吞吐量可达5w个数据包每秒，数据包的平均时
延在2ms内。
而在异步模式下，每个线程一个socket，控制每秒内发送的频数F，每次发N个包，
例如每秒发F=1000次，每次N=10个数据包，通过nanosleep来实现时间间隔，但是
吞吐量一旦超过某指，时延非常大，5s,而且吞吐量超不过2w，什么原因？

大致看了一下，数据包在缓冲区的时间太长。为什么异步吞吐量提不上去？

贴一份临时代码：

server逻辑：

    while (1) {
        if (poller->Wait(ioev, toev, 1) < 0)
            continue;
        if (ee.happened & EPOLLIN) {
            cur = cli->Read(((char *)&req) + idx, nbytes - idx);
            if (cur > 0) {
                idx += cur;
                if (idx == nbytes) {
                    idx = 0;
                    rtt += rt_mstime() - req.sendstamp;
                    if (crc16(req.__padding, 1024) != req.checksum)
                        printf("fuck check\n");
                    memset(&req, 0, nbytes);
                    cnt++;
                    if (cnt % 1000 == 0 && cnt) {
                        printf("cur avg rtt: %ld\n", rtt/cnt);
                    }
                }
            }
        }
    }


client逻辑：
    while (rt_mstime() <= end_tt) {
        for (i = 0; i < g_pkgs; i++) {
            len = rand() % 512;
            req.sendstamp = rt_mstime();
            idx = 0;
            while (idx < nbytes) {
                ret = cli->Write((char *)&req + idx, nbytes - idx);
                if (ret < 0)
                    return -1;
                else if (ret == 0)
                    printf("fuck again\n");
                idx += ret;
            }
        }
        rt_usleep(intern_tt);
    }

asuka2001

回复 1# remaper

nanosleep()也不一定能达到纳秒精度的睡眠，而且睡眠时间也不是完全精确的。


   

remaper

回复 2# asuka2001


    请问这种差异的主要原因是什么。

asuka2001

回复 3# remaper

比如你认为每个线程只睡1ms，但是实际上内核可能不能精确地让该线程1ms后就醒来，自然发的包就慢了，接收端也是同样！


   

remaper

回复 4# asuka2001


    时间戳是在发送数据包的时候才打上的，所以不是你说的这个原因

asuka2001

回复 5# remaper

睡眠造成的应该是吞吐量的下降，不过延迟达到5秒的确不清楚怎么回事。我猜测是不是大量的软中断或者高精度定时器带来的中断造成的影响，查查sirq，irq的占用怎么样？


   

remaper

回复 6# asuka2001


    都很低。你可以这样测试下：
创建一个socket，一边不停的发1k大小的数据包，send的时候，在数据里面记录一个时间戳，然后另一边不停的读取1k的数据包，读出来后，就知道这个数据包传输花了多长时间了。

瀚海书香

回复 1# remaper
测试的tcp还是udp?

   

remaper

回复 8# 瀚海书香


    tcp, 前辈

瀚海书香

回复 9# remaper
tcp的话怀疑是拥塞控制的原因。可否用netperf测试一下，看看吞吐量和延迟情况。