请教：网卡多队列对应的中断是如何在各个cpu上分配的

humjb_1983

网卡多队列功能，每个队列对应的中断是如何在各个CPU上分配的？
如网络收包时，如何确认收包中断发往哪个CPU？如何保证各个CPU上的中断和软中断均衡？
感谢！

q1208c

如果没有手工 bind 的话, 会随机分配吧?

humjb_1983

q1208c 发表于 2014-06-26 14:37
如果没有手工 bind 的话, 会随机分配吧?

通常是在驱动中bind的，如每个cpu绑定一个(或两个，收/发)中断~，但这只是绑定“队列或中断”跟“CPU”的关系，我的疑问是：网卡硬件收包时，如何决定往哪个队列上放包？即如何决定向哪个cpu触发中断？
如果收包繁忙，如何保证各CPU间的中断和负荷均衡？

感谢答复！！

tc1989tc

是否有队列跟报文的映射关系啊

humjb_1983

tc1989tc 发表于 2014-06-26 14:53
是否有队列跟报文的映射关系啊

报文跟队列映射关系具体指啥？有啥映射关系？

瀚海书香

回复 3# humjb_1983

通常是在驱动中bind的，如每个cpu绑定一个(或两个，收/发)中断~，但这只是绑定“队列或中断”跟“CPU”的关系，我的疑问是：网卡硬件收包时，如何决定往哪个队列上放包？即如何决定向哪个cpu触发中断？
如果收包繁忙，如何保证各CPU间的中断和负荷均衡？

（1）可以通过/proc/irq/${irqnum}/smp_affinity 来手动配置中断触发的CPU
（2）能否保证中断均衡到各个CPU上，这个可以通过irqbalance来实现

   

asuka2001

这个应该是网卡的硬件逻辑或者是 fireware决定的吧？没接触过具体的网卡硬件，也许通过驱动进行策略设置？

是不是硬件队列循环收包？假如网卡设备开启了 sr-iov，那么又应该是怎么样的情况？

humjb_1983

瀚海书香 发表于 2014-06-26 15:48
回复 3# humjb_1983

感谢瀚海兄~
但还是没有理解我的意思~，也许是我没表达清楚~
中断绑定这个没问题，但是这只是绑定了中断和CPU的关系，关键问题在于中断的来源，由于有多个中断(每个队列一个)，网卡硬件收包时，如何决定触发哪个中断？如果网卡硬件将网络包都向同一个中断(队列)上灌，那么就只会有一个CPU处理网络包，那中断绑定、irqbalance都无济于事了~~

humjb_1983

asuka2001 发表于 2014-06-26 15:56
这个应该是网卡的硬件逻辑或者是 fireware决定的吧？没接触过具体的网卡硬件，也许通过驱动进行策略设置？ ...

感谢！
这个确实应该是硬件或固件决定的，查了下相关资料，好像网卡在收包时会根据网络包的src ip来进行hash，选择最终的队列，
即来源于同一个IP的网络包，会放到同一个队列中处理，那么在实际的网络模型中，如果网络压力来源于同一个主机，那么就
注定多队列无法均衡了~~

asuka2001

回复 9# humjb_1983

为什么不可以由驱动设置策略呢。。。

比如通过 src ip进行 hash，如果中断投递的 cpu和 RFS期望的 cpu不一样，这样是不是一样有一些 ipi的损耗呢？

同样，假如我们希望进行省电优化，防止 hash到已经 idle的 CPU，通过驱动将其设定为集中投递给 cpu 0也是一种很好的选择。