请教关于intel 82575EB 网卡性能

Solaris12

原帖由 catdoll 于 2008-8-26 20:13 发表
请问你的测试结果怎么样，使用的是怎样一个平台？千兆环境下，64bytes的ip forward多少pps?另外不知道，MSI-X模式下，igb驱动究竟有没有使用NAPI模式？

我的测试环境：

1. Sun Ultra SPARC T2 @1.4GHz (64 threads, 8 cores 1 chip), Solaris 开发版本

2. 一块82575EB千兆的两口卡

3. 卡和smartbit 600的两个口连接

4. 使用smart application跑ipforwarding测试

5. 64字节单向的转发远高于40万pps， 具体是几倍不便透露，因为目前产品还没有release.

6. 我的igb驱动在Solaris上是支持polling模式，而且使用9 个MSI-X vectors

7. 你说的Linux NAPI是不是polling模式？确认这个有那么难吗？找个NAPI里才会调用的函数，反汇编看看是否在驱动里不就行了？

因为我使用的网卡就是普通的82575EB的两口卡，也可以在x86上用，我并没有发现有中断不均衡的现象

catdoll

cat /proc/interrupts, 结果如下
209:          1          1          0          0   PCI-MSI-edge      eth2
210:        122        112        150        139   PCI-MSI-edge      eth2-rx3
211:        111        150        139        123   PCI-MSI-edge      eth2-rx2
212:        150        139        123        111   PCI-MSI-edge      eth2-rx1
213:     584057     622677     585919     624881   PCI-MSI-edge      eth2-rx0
214:    1099278    1783706    1098852    1776875   PCI-MSI-edge      eth2-tx0
215:          0          1          1          1   PCI-MSI-edge      eth1
216:        128        171        139        144   PCI-MSI-edge      eth1-rx3
217:        141        134        136        116   PCI-MSI-edge      eth1-rx2
218:        134        137        115        138   PCI-MSI-edge      eth1-rx1
219:    2393344    1692618    2393331    1694666   PCI-MSI-edge      eth1-rx0
220:     490154     468303     489061     470508   PCI-MSI-edge      eth1-tx0

明显eth1/eth2-rx0接收中断数量比其他队列多的多，怀疑是不是驱动问题？

[ 本帖最后由 catdoll 于 2008-8-28 21:15 编辑 ]

Solaris12

原帖由 catdoll 于 2008-8-28 21:14 发表
cat /proc/interrupts, 结果如下
209:          1          1          0          0   PCI-MSI-edge      eth2
210:        122        112        150        139   PCI-MSI-edge      eth2-rx3
211:      ...

如果是驱动的问题，似乎只能和RSS有关了。

你有没有试过别的流量的测试，比如说，跑1000个连接的TCP的流量，看看中断是不是均衡的。

这种情况下似乎只可能是驱动的问题，你的网卡的device id是多少？

minifish

只是好奇，请教一下。
会不会负责RX的那个MSI-X同时也负责其他的中断，比如LSC，导致中断变多。
另外，RX0是不是默认的接受queue，导致它的负载比较重呢？我记得好像只有符合条件的才进去各个queue，其它的都到默认的queue。
不怎么懂，说错了不要取笑啊

Solaris12

原帖由 minifish 于 2008-9-7 22:48 发表
只是好奇，请教一下。
会不会负责RX的那个MSI-X同时也负责其他的中断，比如LSC，导致中断变多。
另外，RX0是不是默认的接受queue，导致它的负载比较重呢？我记得好像只有符合条件的才进去各个queue，其它的都 ...

1. 82575设置了MSI-X时，LSC之类的其它中断可以使用独立的中断向量，楼主的设置就是这样，采用独立的中断。

2. 一般的，RX0是default queue,所以你说的情况是可能的，所以我让他检查两个地方：

    * RSS的设置是否有问题，需要查看RSS初始化代码。


    * 更换测试类型，改用一般的大连接TCP测试，看看负载是否均衡。假设RSS设置没问题的话，TCP的流量应该是均衡分布的。
       如果TCP的流量产生的中断也不均衡，可以怀疑RSS或者驱动的其它部分设置是有问题的。


总之，楼主的问题看起来是驱动的问题。

terryfe

汗，现在才看到这个帖子。
2.6.25内核还没有完整支持数据包发送路径的多队列功能，所以4个核争用一个QDISC上的锁导致LZ所描述的现象。
解决方法是升级到2.6.28（2.6.27也需要修改代码才能搞定）

另外Solaris12大牛，有问题要请教啊
最近搞了台T5220，插了2块82598测转发，可是为什么只能分配到一个MSI-X中断给TX，导致RX性能很好但是发送极差呢...
跑的是SolarisExpress b104
还有Solaris如何设置中断的CPU Affinity..

Solaris12

原帖由 terryfe 于 2009-1-8 10:30 发表
汗，现在才看到这个帖子。
2.6.25内核还没有完整支持数据包发送路径的多队列功能，所以4个核争用一个QDISC上的锁导致LZ所描述的现象。
解决方法是升级到2.6.28（2.6.27也需要修改代码才能搞定）

另外Solar ...

1. 你应该安装Solaris express build 105`或者更新的build来进行测试。

原因是，Solaris build 105以前的网卡驱动因为缺乏framework的支持，目前接收可以打开多个rx ring但发送是一个ring.

2. 即便你在Solaris build 105, 由于MSI-X中断framework的项目还没有集成进来， 你需要在/etc/system里设置打开MSI-X的中断vector数目的限制，缺省是2个，

set ddi_msix_alloc_limit=32

另外在82598的/kernel/drv/ixgbe.conf里需要打开多个ring,

mr_enable = 1;

3. 下一步的计划是，等Solaris的中断管理项目集成后，所有网卡驱动可以动态申请到足够多的MSI-X vector,那时，上面的设置都不需要了。


4. ip forwarding的性能在build 105以后，提高的幅度非常大，我们是用smartbit做的bechmark.

[ 本帖最后由 Solaris12 于 2009-1-8 10:53 编辑 ]

terryfe

原帖由 Solaris12 于 2009-1-8 10:45 发表



你应该安装Solaris express build 105以后的build来进行测试。

105的Changelog上好像没看到相关的东西。到是106有MSI-X中断向量限制的问题解决。貌似12号才发布
如果确认105可以搞定此问题那我重新下载安装去..

Solaris12

原帖由 terryfe 于 2009-1-8 10:49 发表

105的Changelog上好像没看到相关的东西。到是106有MSI-X中断向量限制的问题解决。貌似12号才发布
如果确认105可以搞定此问题那我重新下载安装去..

105可能还没有对外下载，但相信就在这个月内。

terryfe

原帖由 Solaris12 于 2009-1-8 10:53 发表


105可能还没有对外下载，但相信就在这个月内。

从svn上搞下lastest source自己来编译成不成？