论坛徽章:: 0

1楼 [报告]

发表于 2009-05-20 13:30 |显示全部楼层

原帖由 terryfe 于 2009-5-20 10:17 发表
做了好久的SMP环境下的包转发，总结几点：
1. 对于普通网卡Linux协议栈无法进行实质上的多CPU负载均衡，需要支持RSS（多队列）的网卡，千兆比如intel 82575/6，万兆如intel 82598等。网卡对数据流进行hash然后分配到多个队列上，每个队列对应一个msi-x中断vector。这样就真正实现了多CPU同时处理协议栈。
2. linux内核从2.6.23开始支持多队列的网卡，到2.6.27才完整支持（仍需要hack达到性能最优），主要是NAPI结构的修改和Qdisc的多队列化。这种情况下在nehalem之前的平台上，万兆网卡测试转发时FSB成为瓶颈（多CPU争用）。
3. Nehalem可以解决FSB的问题，万兆多队列卡转发可以做到500万pps，此时PCIE的pps成为瓶颈。
4. 继续上升可能需要PCIE v2.0 的支持，或者像某些NP架构中使用专用总线避开PCIE的瓶颈。
...

这是一种硬件方案。

软件上可以模拟这个方案，把RSS这种东西在协议栈级别实现，Solaris叫fanout, 基于连接来负载均衡。

[ 本帖最后由 Solaris12 于 2009-5-20 13:33 编辑 ]

Solaris12

富足长乐

论坛徽章:: 0

2楼 [报告]

发表于 2009-05-20 17:38 |显示全部楼层

原帖由 terryfe 于 2009-5-20 17:13 发表
fanout机制确实是想多利用sparc的CMT技术，但是目前还是受制于PCIE总线的限制，至少我用ixgbe的硬件hash在opensolaris上只能做到160wpps（进行了大量hask....）。
NIU那块走专用总线的卡应该可以解决该问题，但是现在的内核协议栈支持好像还差不少....

软件实现的问题可能在于用于分发的CPU很可能成为瓶颈，因为同时只能有一个CPU来做这件事情，sparc的主频低啊== .....
不过一直没时间去试solaris在x86上软RSS实现的表现，不过想做到单机万兆线速只能上硬件了..
...

NIU + Crossbow的bug还很多呢。

如果是single ring的话， fanout的确是一个CPU做，但多个队列的时候，如果用pcitool把中断放到不同的core，理论上每个接收中断上来的CPU都可以做吧。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

Solaris12

富足长乐

论坛徽章:: 0

3楼 [报告]

发表于 2009-05-21 12:14 |显示全部楼层

原帖由 terryfe 于 2009-5-20 17:50 发表

前提就是硬件的多队列嘛。所以软RSS的实现在高压力下治标不治本啊...

嗯，关键是目前CPU的核数远远多于NIC的RING的数目。

即便是ixgbe这样的硬件，64个ring,但只有16个MSI-X vector.

目前Solaris ixgbe网卡属于起步阶段，Crossbow刚做完第一阶段，未来协议栈充分利用多核的工作还有很多事情要做。不出几年，上千个硬件线程就会出现，所以，两者是要结合使用的。