【请教】关于网络对大量小数据包的处理

wan3610425

回复 10# hanzhiwei111


    我感觉可以理解成不同的进程吧，具体出处我也答不上，你可以看下Nagle介绍，还是涉及到对一条连接的理解，

收到报文后应用层肯定能解析报文呀，自然不存在所说的不同的数据

hanzhiwei111

回复 11# wan3610425


    比如这么一个场景：  主机C 对某因素作监控，每过 10s 收集一个数据，数据很小（但是大小不一定），这样C不会把每个数据实时发送，而是等数据长度到到 1500 bytes再一起发送，如果把这些数据统一成一个大的数据包，作为接受方服务器S,如何解析不同的数据？
    可能这个例子有点极端，但也可能存在这种情况吧。。。

kkddkkdd11

hanzhiwei111 发表于 2014-04-10 22:24
回复 2# kkddkkdd11

十分感谢回复，不过我不太明白您的意思，单机dna是值什么？

我说的这个是 硬件解决方案
比如，叠菊花，那种方式
一个大量小包的流量
然后，双网卡口网卡
一个接入流量
一个导出部分流量

好像 早期的安全设备好多都是 这种叠菊花的链接方式
：）

henrystark

回复 1# hanzhiwei111
TCP 层面的小包处理，最常见就是NAGLE算法了。请查阅相关资料。

   

lokyes

GOS技术 ，内核里有这个编译选项，具说好像还要硬件支持吧。

crspo

这个问题是TCP的热点问题啊,总的思路就是尽量更多的合并小包
参考
Nagle
TCP_CORK
GSO
TCP Small Queue
TCP Auto Corking

jerryhua_cu

Nagle  TCP_CORK等算法都是标准TCP针对单个流的小包合并，网络中所谓的一个流就是源IP、源port、目的IP、目的port、传输协议组成的一个五元组。要对不同的流的小包进行合并传输，就不能使用标准tcp了，需要自己在链路两端进行合并和区分。现在很多的网络加速设备里面就有该功能的实现。

hanzhiwei111

回复 17# jerryhua_cu

谢谢回复，
以下是我想到的一个场景：
主机C 对某因素作监控，每过 10s 收集一个数据，数据很小（但是大小不一定），这样C不会把每个数据实时发送，而是等数据长度到到 1500 bytes再一起发送，如果把这些数据统一成一个大的数据包，作为接受方服务器S,如何解析不同的数据？
可能这个例子有点极端，但也可能存在这种情况吧。。。

您的意思是如果这种情况，是不能够直接把那些“小”的数据合并在一起发送的，如果想要合并，需要自己的应用程序来处理。我理解的对么？
   

jerryhua_cu

hanzhiwei111 发表于 2014-04-29 00:02
回复 17# jerryhua_cu

谢谢回复，

是的，如果服务器s上同一个socket接收这些数据，那么应用层需要自己的协议包头去区分各个小数据包

mordorwww

我倒是可以从另外一个角度理解这个问题； NAPI不是最适合高频的小包处理, 不知道面试的领导想问啥