ksoftirqd在多核环境下，满负荷情况下是否会被调度

xinghuo456

回复 10# humjb_1983


    嵌入式设备，没有这个命令。

xinghuo456

装了一个。
15:06:12     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
15:06:14     all    0.00    0.00    0.25    0.00    0.00   24.84    0.00    0.00   74.91
15:06:14       0    0.00    0.00    0.50    0.00    0.00    0.00    0.00    0.00   99.50
15:06:14       1    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
15:06:14       2    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
15:06:14       3    0.00    0.00    0.50    0.00    0.00   99.50    0.00    0.00    0.00

15:06:14     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
15:06:16     all    0.13    0.00    0.00    0.00    0.00   25.09    0.00    0.00   74.78
15:06:16       0    0.50    0.00    0.00    0.00    0.00    0.00    0.00    0.00   99.50
15:06:16       1    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
15:06:16       2    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
15:06:16       3    0.00    0.00    0.00    0.00    0.00  100.00    0.00    0.00    0.00

15:06:16     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
15:06:18     all    0.00    0.00    0.12    0.00    0.00   24.97    0.00    0.00   74.91
15:06:18       0    0.00    0.00    0.50    0.00    0.00    0.00    0.00    0.00   99.50
15:06:18       1    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
15:06:18       2    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
15:06:18       3    0.00    0.00    0.00    0.00    0.00  100.00    0.00    0.00    0.00

15:06:18     CPU    %usr   %nice    %sys %iowait    %irq   %soft  %steal  %guest   %idle
15:06:20     all    0.25    0.00    0.00    0.00    0.00   25.00    0.00    0.00   74.75
15:06:20       0    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
15:06:20       1    0.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00  100.00
15:06:20       2    1.00    0.00    0.00    0.00    0.00    0.00    0.00    0.00   99.00
15:06:20       3    0.00    0.00    0.00    0.00    0.00  100.00    0.00    0.00    0.00

humjb_1983

请观察下你的网卡的中断(/proc/interrupts)在一段时间内是否都集中在同一个网卡上了？
请观察确认是否一直是CPU3上的irq%高？还是会在其它CPU上轮转？
谢谢！

xinghuo456

回复 13# humjb_1983


    流量打满以后，几乎没有中断产生。应该是cpu处于轮询的状态。

是不是可以这样理解：
由于没有中断产生，所以softirq一直由一个核处理不会调度，而产生软中断的中断又恰巧是由同一个处理，所以会导致这个现象？

镇水铁牛

cat /proc/irq/**/smp_affinity查看，如果不支持irqbalance，你可以手动设备irq的cpu亲和性。

xinghuo456

回复 15# 镇水铁牛


    只能靠绑定Cpu解决一部分问题

但是还是无法充分使用4个核的能力。
这个有办法解决么

镇水铁牛

回复 16# xinghuo456

对网卡不熟悉，如果想某硬件将中断均匀分发到各个CPU上，需要硬件的MSI-X和软件的同时支持。
   

ran4029

网卡收报靠硬终端触发软中断处理，linux自己是有负载均衡的机制的，可以靠指定网卡收包中断所对应的cpu来实现，cat /proc/interrupts 查看网卡对应的中断号，然后 cat  /proc/irq/47/smp_affinity 查看下中断绑定情况，这个是cpu掩码，如果你有4个核可以echo f > /proc/irq/47/smp_affinity  这样中断就应该在每个核上都会发生。

humjb_1983

xinghuo456 发表于 2015-01-23 17:23
回复 13# humjb_1983

软中断本来就是在硬中断发生的核上处理。如果需要软中断均衡，可能需要RFS/RPS补丁。
你的网卡没有多队列，开启多队列，在多个数据流的情况下，也能均衡。