推翻BSD4.11吐吞量的神话

skipjack

贴子的题目只不过是为了吸引您的眼球，呵呵....

我不知道为什么有人说FreeBSD的网络性能会高于Linux
zjzf_1还提出了4.11高于5.x 6.x的结论。
以至于大家都一头扎向4.11，我今天是来解救大家嘀。挖哈哈...
下面是xfsoul (ktrudger) 关于《精通polling参数调优的进来帮帮忙吧》一文中BSD4.11的吐吞量测试结果。不说别的，CPU占用率上的统计肯定是有问题的，但对BSD不了解，也不能多说什么。但能量守恒至少要遵守吧？每秒92万pps的处理，绝对是要占用大量CPU的。

1. 
   
2. FreeBSD 4.11(polling enable，HZ=4000)
   
3. 包长   带宽        包速(pps)  字节速率(Mbps)    CPU占用
   
4. 64     32.6%       462963     251.85            1%
   
5. 128    48.87%      401929     424.44            1%
   
6. 256    66.35%      296209     616.11            1%
   
7. 512    84.94%      198098     817.75            0%
   
8. 1024   100.0%      119274     980.91            0%
   
9. 1500   100%        82020      986.86            0%
   
10. 混包   60.26%      328831     549.97            0%   
    

复制代码

xie_minix对BSD网络部分很了解，下面是你对当时测试结论的建议，解释了在BSD下的原因，Linux有对256以下小尺寸数据包的优化驱动版本，不知当时测试的是不是。如果是，BSD会在所有包长下全面溃败下来。

1. 
   
2. 测试的数据非常有意思,大家看到没有,在包大于256字节的时候,FB就不行了,估计和MBUF有关.
   
3. 大家知道,FB的MBUF大小是256字节.如果包大于256字节,m_devget函数执行起来就麻烦多了.
   
4. xfsoul你可以把
   
5. #define MSIZE                256                /* size of an mbuf */
   
6. 改成
   
7. #define MSIZE                PAGE_SIZE        /* size of an mbuf */
   
8. 如果情况可以,再调到2048,1024,512进行测试
   

复制代码

另外，liangyi571写过一篇《尝试IA架构下的网络处理极限》，文章说将BSD5.4内核转发效率提高到了119万pps，但是是在64和128字节各50％的流量下测试出来的，我当时也参加了讨论，但手里的硬件弱的可怜，所以也只有先记下结论。前几天总算弄到一个X86高端硬件，索性做了测试。

下面是我在Linux-2.6.15内核，双至强3.2G，PCI-X 133，Intel 82546下的网络吐吞测试结果：

1. 
   
2. Frame Size                 64    128    256    512   1024   1280   1518
   
3. ------------------------------------------------------------------------
   
4. Pair1 TxTput(fps)  504032 419463 359195 234962 119732  96154  81274
   
5.       %TxTput           33.87  49.66  79.31 100.00 100.00 100.00 100.00
   
6. 
   
7. Pair2 TxTput(fps)  500000 419463 359195 234962 119732  96154  81274
   
8.       %TxTput           33.60  49.66  79.31 100.00 100.00 100.00 100.00
   
9. 
   
10. 
    
11. 
    
12.       Frame Size                 64    128    256    512   1024   1280   1518
    
13. ------------------------------------------------------------------------
    
14. Pair1 TxTput(fps)  694444 612745 452899 234962 119732  96154  81274
    
15.       %TxTput           46.67  72.55 100.00 100.00 100.00 100.00 100.00
    

复制代码

吐吞量是100万pps（100%纯64字节小包），并且对每个数据包都进行了简单操作，并没有发生liangyi571所说的稍加操作吐吞量就锐减的现像。

[ 本帖最后由 skipjack 于 2006-7-27 10:46 编辑 ]

colddawn

lz努力，先顶一下，等lz更新
莫非lz能整出>FB5版本下超高的网络吞吐性能？

LnBSD

高级帖，关注下
其实做服务器的系统，俺更关心稳定性和安全性

[ 本帖最后由 LnBSD 于 2006-7-27 10:57 编辑 ]

testab

skipjack 的帖子必看.

ktrudger

linux转发性能极差的主要原因在于网桥，如果将网桥优化一下，转发性能比FreeBSD6.1好的多。

ktrudger

原帖由 skipjack 于 2006-7-27 10:23 发表
Frame Size                 64    128    256    512   1024   1280   1518
------------------------------------------------------------------------
Pair1 TxTput(fps)  504032 419463 359195 234962 119732  96154  81274
      %TxTput           33.87  49.66  79.31 100.00 100.00 100.00 100.00

Pair2 TxTput(fps)  500000 419463 359195 234962 119732  96154  81274
      %TxTput           33.60  49.66  79.31 100.00 100.00 100.00 100.00



      Frame Size                 64    128    256    512   1024   1280   1518
------------------------------------------------------------------------
Pair1 TxTput(fps)  694444 612745 452899 234962 119732  96154  81274
      %TxTput           46.67  72.55 100.00 100.00 100.00 100.00 100.00

我想详细问一下测试平台和测试方法，Xeon 3.2还是Xeon DP3.2G？主板芯片组是什么？
使用的是何种内存？
linux系统设置能否说一下？有没有做过优化？
发包工具是smartbit吗？记录的数据是双向总和还是单向的速率？
在没有对linux系统做过优化前，我的测试结果都是性能比较差，64字节远远达不到33%，无论什么平台。

skipjack

Xeon只知道是3.2G，我问了厂家，他们也不知道是DP还是MP。我也不敢拆开看。呵呵...
主板芯片组是7520
内存是DDR400，2G
Linux-2.6.15，有少量优化。
不是smartbit，而是ixia400测试仪
测试的是双向数据流。
最新性能测试结果，104万pps

1. 
   
2. Frame Size                 64    128    256    512   1024   1280   1518
   
3. ------------------------------------------------------------------------
   
4. Pair1 TxTput(fps)      520833 443262 374251 234962 119732  96154  81274
   
5.       %TxTput           35.00  52.48  82.63 100.00 100.00 100.00 100.00
   
6. 
   
7. Pair2 TxTput(fps)      520833 446429 376506 234962 119732  96154  81274
   
8.       %TxTput           35.00  52.86  83.13 100.00 100.00 100.00 100.00
   

复制代码

colddawn

貌似7520上不了DP的U吧，就支持2个插座。

ktrudger

linux在7520上性能这么强，比较诧异啊！

ktrudger

Linux有对256以下小尺寸数据包的优化驱动版本，不知当时测试的是不是。如果是，BSD会在所有包长下全面溃败下来。


请问楼主，哪里有对256字节以下小数据包优化的驱动版本？我怎么没有找到呢？