如何让 linux 包转发达到 40万pps,尝试中！

Solaris12

原帖由 caibird3rd 于 2005-12-15 20:54 发表
现在的问题既不是网卡，也不是CPU
而是网络协议及其依赖的OS中断处理机制，而且网卡仅仅支持csum等简单的offload作用不大

这个问题，既是网卡，CPU，总线，还是OS，更是driver的问题，需要几部分协作：

网卡：提供HW offload机制，目的是减轻CPU的压力，比如check sum offload，LSO，MSI，interruput blanking，甚至是整个协议栈的offload

CPU：NP/SUN的CMT

总线：PCI-X对付1000M绰绰有余

OS: interruput blanking/MSI

dirver: 充分利用OS和网卡提供的这些特性。

目前，Solaris已经支持了interruput blanking，很多dirver也使用了HW  offload机制.

相信linux也差不多。所以我说100M/1000M的问题已经解决，目前主要10000M的问题。

关于操作系统的网络方面，我们曾经请SUN的著名工程师eric，也是IEEE的委员，做过一次演讲，请参考下面的网址：

http://blog.csdn.net/yayong/archive/2005/10/22/513676.aspx

http://www.opensolaris.org/os/co ... g-erik_nordmark.pdf

[ 本帖最后由 Solaris12 于 2005-12-16 11:32 编辑 ]

hvtony

不清楚各位在linux下测试相关性能的时候用的是怎样的linux？是一般的标准发行版本redhat,suse什么的（猜的，不大可能吧），还是定制的呢？
我在linux下测试的brouter，带防火墙和流量控制，100M网络环境，目前是带了15台服务器，流量跑到11Mbyte/s是轻而易举的，而且看到的负载主要集中于硬件的IRQ上。
对于iptables和conntrack的优化，目前有很多的方法啊，比如ipset和nf-hipac就是不错的选择，就算是iptables在使用的过程中也不会太占用CPU的，我的防火墙规则大概150条左右。
CPU用的是Celern 2.0G的，网卡用的是Intel 1000M，主要是看中了他的NAPI和tso。
对于100M网络，32位的66MHZ的卡肯定是可以的，32*66已经大于100了。

lenn

P4 2.8*2 Xeon CPU下是可以达到这个转发性能的.
我把E1000网卡修改成零拷贝,直接收包,可以达到950Mbps以上,包数可以达到120W,虽然64bit的小包线速达不到,
但是流量是可观的,单个CPU使用70%,
发包的我没有硬件做测试,假如双网卡,使用核心线程作零拷贝发包,也就是包不通过协议栈,假设性能折扣为3/4,那应该也可
以达到600到700Mbps的.如果你有兴趣,我们可以讨论下.
MSN:liangvy@bigfoot.com

sbyond

2006.1.10再来一点补充
上次说错了100万应该是1，000，000,即1000kpps
2.6.14 自编译内核 转发峰值155Kpps  ,基本能稳定在130kpps
离我希望的400kpps 还有一定差距，继续努力中

guotie

呵呵，不知道楼主的情况如何了。

我刚刚在linux-net的邮件列表上看到的讨论，关于linux net转发率的测试数据：

Yes PCI-X boards is sending around ~800 kpps. With some ugly patches about
300 kpps more.

Intel w. e1000 82546GB @ 133 MHz

60  748406
124  693133
252  452951
508  234982
1020  119742
1496  82242

The BCM PCI-X  *inside* the serverworks H2000 is faster.

BCM w. tg3

60  1421959
124  844572
252  452918
508  234970
1020  119735
1496  82239

Fastest and most intresing sofar is the Intel 82571 Server PCI-E dual
server adapter.

60  1488305
124  844635
252  452835
508  234973
1020  119737
1496  82240

IO latency is worse with PCI-E but the Intel 82571 can handle four
concurrent RX/TX transactions. Also PCI-E is FX this seems to well
handle the PCI-E extra latency.

Stephen I've heard some good things about the Syskonnect PCI-E adapters
any chance you could run a test similar to the tests above?

wheel

8bits的基带数据映射成10bits的数据,保证10bit数据中“0”/“1”信号的数量相等,的确是PCI-E的加速特性，这样不用时钟，PCI-Ex总线在8B/10B编码层之前采用扰频，和K28.0字符时钟补偿 。使得高频特性跟好了。

caibird3rd

对于PCI、PCI-X、PCI-E等总线，是否可以认为如下结论成立：
双向同时传输数据时单个方向上的速率是否为完全单向传输速率的一半？

skipjack

40万?要求也太低了吧,100M冰盾软件都能转发25万pps,1000M下至少也是160万啊?(网上你搜一下)
还有什么方正黑杀,dosnipe,神洲盾.....都是一个小黑箱就号称可防数百万pps啊,你要做一个40万的,估计要用到486CPU,这可不好找啊.

lenn

原帖由 skipjack 于 2006-3-1 15:11 发表
40万?要求也太低了吧,100M冰盾软件都能转发25万pps,1000M下至少也是160万啊?(网上你搜一下)
还有什么方正黑杀,dosnipe,神洲盾.....都是一个小黑箱就号称可防数百万pps啊,你要做一个40万的,估计要用到486CPU,这可 ...

软件转发,有这么牛么??

skipjack

原帖由 lenn 于 2006-3-1 15:53 发表


软件转发,有这么牛么??

做syn包判断比转发更耗时吧,再说判断的结果可能就是转发啊,号称是每秒13万个包时不丢包,呵呵