在多核系统上网络数据转发实验和一点思考

独孤九贱

看来这篇贴子的确起到了抛砖引玉的效果了。不错，呵呵！！
我也觉得，目前这种多核下面，一个CPU负责一个网卡的队列（接收方向）处理，我觉得还是很好的，不用在CPU之间的调度，切换，提升了不少效率吧？？

思一克

原帖由 独孤九贱 于 2009-5-21 11:04 发表
看来这篇贴子的确起到了抛砖引玉的效果了。不错，呵呵！！
我也觉得，目前这种多核下面，一个CPU负责一个网卡的队列（接收方向）处理，我觉得还是很好的，不用在CPU之间的调度，切换，提升了不少效率吧？？

是的。你查multi-ring NIC就有。

Solaris12

原帖由 terryfe 于 2009-5-20 17:50 发表

前提就是硬件的多队列嘛。所以软RSS的实现在高压力下治标不治本啊...

嗯，关键是目前CPU的核数远远多于NIC的RING的数目。

即便是ixgbe这样的硬件，64个ring,但只有16个MSI-X vector.

目前Solaris ixgbe网卡属于起步阶段，Crossbow刚做完第一阶段，未来协议栈充分利用多核的工作还有很多事情要做。不出几年，上千个硬件线程就会出现，所以，两者是要结合使用的。

ShadowStar

原帖由 Solaris12 于 2009-5-21 12:14 发表


嗯，关键是目前CPU的核数远远多于NIC的RING的数目。

即便是ixgbe这样的硬件，64个ring,但只有16个MSI-X vector.

目前Solaris ixgbe网卡属于起步阶段，Crossbow刚做完第一阶段，未来协议栈充分利用多核 ...

Solaris12做Sparc下开发的？

x86下的CPU核数还是不多的。

terryfe

原帖由 Solaris12 于 2009-5-21 12:14 发表


嗯，关键是目前CPU的核数远远多于NIC的RING的数目。

即便是ixgbe这样的硬件，64个ring,但只有16个MSI-X vector.

目前Solaris ixgbe网卡属于起步阶段，Crossbow刚做完第一阶段，未来协议栈充分利用多核 ...

至少现在想达到万兆线速的话不需要那么多核..
等到出40GE，100GE的时候估计就用得上了

Solaris12

原帖由 ShadowStar 于 2009-5-21 14:05 发表


Solaris12做Sparc下开发的？

x86下的CPU核数还是不多的。

两个平台都搞一点。


x86也越来越强了。八核 Nehalem EX,  Dula socket的服务器马上就出来了，到时候16个核，不过Intel的网卡也升级了，128个ring,. 中断vector估计也多了。

Solaris12

原帖由 terryfe 于 2009-5-21 14:17 发表

至少现在想达到万兆线速的话不需要那么多核..
等到出40GE，100GE的时候估计就用得上了

嗯，总线到时候也肯定升级啊，这是配套的，

而且系统里不会只有一块万兆卡吧，还有其他设备呢。如果核太少了，多个设备中断共享一个CPU, 也不好。

[ 本帖最后由 Solaris12 于 2009-5-21 14:25 编辑 ]

wangbingchao1

领教了

longjiangq3654

Aqie

靠,终于有人也开始研究并讨论这一块了...
其实网卡收包发包都是共用一个IRQ这个好象是网卡固件决定的,收包用NAPI的效率非常高,5405 x 2/82546EB x 4 每个卡线速收包(不发) cpu 8个核很平均,都在50%左右,但是只要有一个卡转发性能马上降低50%而且两个核心全部耗完,其余空闲,两个卡转发在降低 50%,依此类推,可见网卡的瓶颈不均衡等问题不在收包上,而是发包上.不知道发包有没有办法做到收包这样优秀

还有个想法不知道linux框架能不能实现, 如果收用一个IRQ,发用一个IRQ性能肯定会有很大提高,不过IRQ好象是由BIOS控制的,不知道能不能直接注册两个IRQ

[ 本帖最后由 Aqie 于 2009-6-2 09:37 编辑 ]