如何降低softirq的cpu使用率

daniel_11

众所周知，在网络负载很重的时候，cpu容易全部被softirq占用。比如运行网络吞吐量测试工具等场景。
问题是，如何在这种状况下能保证用户应用程序能够正常运行？如何能够降低cpu的使用率？
如果不开内核抢占如何？开内核抢占又如何？谢谢！

daniel_11

木有人谈谈看法么？是不是要加个悬赏。。。。。。

xs3c

你具体是啥情况，多核每个CPU上的softirq负载都高？还是就个别的CPU上高。 前者的话 感觉你需要换个强劲的CPU。 后面的话 看看能试试irqbalance。但是这个貌似weibo上霸爷有个测试。貌似说没用。
http://blog.yufeng.info/archives/2422

鬼鬼一哈

可以考虑负载均衡方面和考虑网络数据包使用dma方式(在第二次数据处理阶段)。

daniel_11

回复 3# xs3c

谢谢关注！场景为单核cpu + 硬件加速模块。不过因为要做一些复杂的协议处理，无法完全做cpu offload。在网络负载很重的时候，系统响应非常慢，影响到一些业务流。
   

daniel_11

回复 4# 鬼鬼一哈
可以详细讲讲么？谢谢关注！


   

瀚海书香

回复 1# daniel_11

众所周知，在网络负载很重的时候，cpu容易全部被softirq占用。比如运行网络吞吐量测试工具等场景。
问题是，如何在这种状况下能保证用户应用程序能够正常运行？如何能够降低cpu的使用率？
如果不开内核抢占如何？开内核抢占又如何？谢谢！

其实这是一个设计原则的问题。内核在这方面的原则就是，软中断处理的优先级高于用户态应用程序。

可以将网络软中断放到一个CPU上处理，应用程序使用其他的CPU
   

junnyg

瀚海书香 发表于 2013-04-13 12:33
回复 1# daniel_11

楼主的场景是单核CPU，所以核隔离做不到，我觉得是不是可以：
1. 在网卡驱动中做流控，主动丢包
2. 修改内核中断处理流程，在硬中断处理完后不处理软中断，全部交给软中断线程处理，并且将软中断线程的优先级调低
3. 打开内核抢占，设置业务进程的优先级为实时进程
不过这样会导致包处理的延时增大，中断实时性得不到保证

junior1108

回复 8# junnyg


    楼主的场景是单核CPU，所以核隔离做不到，我觉得是不是可以：
1. 在网卡驱动中做流控，主动丢包

主动丢包，这样太暴力了吧。

2. 修改内核中断处理流程，在硬中断处理完后不处理软中断，全部交给软中断线程处理，并且将软中断线程的优先级调低

如果想增强业务程序的响应的话。LZ可以看看试着强制中断线程化。这样除了时钟中断 大部分中断都作为线程。再可以修改应用程序为sched_fifo。提高优先级。

3. 打开内核抢占，设置业务进程的优先级为实时进程
不过这样会导致包处理的延时增大，中断实时性得不到保证

LZ的情况，真应该换更强的CPU 或者换至少支持off load的网卡。然后再看看效果。

daniel_11

回复 9# junior1108

现实的情况是无法更换更强的cpu了，我个人也觉得要求有点过分，但大家都懂得。。。
确实有考虑做主动流控，但目前主要针对udp，tcp没做。无法较好解决问题。
没有强制做中断线程化。
已经有做优先级调整，有一点效果。。。
对于内核抢占，还是比较犹豫，毕竟要牺牲性能，担心不好交代啊。
谢谢关注！