events/1占cpu 99%问题

tqyou85

测试平台如下：
powerpc系统，双核，内核版本：2.6.34.12

测试过程中出现events/1耗cpu达99%的情况，并且系统不可恢复，top结果如下：
自己的驱动代码中没有调用schedule_work或schedule_delayed_work。

1. top - 09:37:33 up  1:03,  2 users,  load average: 14.18, 8.01, 4.84
   
2. Tasks: 169 total,  10 running, 159 sleeping,   0 stopped,   0 zombie
   
3. Cpu(s):  4.7%us,  5.3%sy,  0.0%ni, 90.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st
   
4. Mem:    887616k total,   854428k used,    33188k free,     2208k buffers
   
5. Swap:        0k total,        0k used,        0k free,   133252k cached
   
6. 
   
7.   PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND            
   
8.    32 root      -2 -20     0    0    0 R  101  0.0   2:52.76 events/1           
   
9.   917 root     -91   0  2828 1104  844 R    4  0.1   0:00.03 top               
   
10.   493 root      20   0  584m  42m 1748 R    2  4.9   1:30.76 1_l2_sec-recv      
    
11.     1 root      20   0  4032  804  716 S    0  0.1   0:02.97 init               
    
12.     2 root      20   0     0    0    0 S    0  0.0   0:00.00 kthreadd           
    
13.     3 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/0        
    
14.     4 root     -50   0     0    0    0 S    0  0.0   0:00.00 sirq-high/0        
    
15.     5 root     -50   0     0    0    0 R    0  0.0   0:02.35 sirq-timer/0      
    
16.     6 root     -50   0     0    0    0 S    0  0.0   0:00.00 sirq-net-tx/0      
    
17.     7 root     -50   0     0    0    0 S    0  0.0   0:02.35 sirq-net-rx/0      
    
18.     8 root     -50   0     0    0    0 S    0  0.0   0:00.00 sirq-block/0      
    
19.     9 root     -50   0     0    0    0 S    0  0.0   0:00.00 sirq-block-iopo   
    
20.    10 root     -50   0     0    0    0 S    0  0.0   0:00.00 sirq-tasklet/0     
    
21.    11 root     -50   0     0    0    0 S    0  0.0   0:00.00 sirq-sched/0      
    
22.    12 root     -50   0     0    0    0 S    0  0.0   0:00.00 sirq-hrtimer/0     
    
23.    13 root     -50   0     0    0    0 R    0  0.0   0:03.07 sirq-rcu/0         
    
24.    14 root      RT   0     0    0    0 S    0  0.0   0:00.00 posixcputmr/0      
    
25.    15 root      RT   0     0    0    0 S    0  0.0   0:00.00 watchdog/0         
    
26.    16 root      10 -10     0    0    0 S    0  0.0   0:00.00 desched/0         
    
27.    17 root      RT   0     0    0    0 S    0  0.0   0:00.00 migration/1        
    
28.    18 root      RT   0     0    0    0 S    0  0.0   0:00.00 posixcputmr/1      
    
29.    19 root     -50   0     0    0    0 S    0  0.0   0:00.00 sirq-high/1        
    
30.    20 root     -50   0     0    0    0 R    0  0.0   0:06.78 sirq-timer/1      
    
31.    21 root     -50   0     0    0    0 S    0  0.0   0:00.02 sirq-net-tx/1      
    
32.    22 root     -50   0     0    0    0 S    0  0.0   0:00.20 sirq-net-rx/1      
    
33.    23 root     -50   0     0    0    0 S    0  0.0   0:00.00 sirq-block/1      
    
34.    24 root     -50   0     0    0    0 S    0  0.0   0:00.00 sirq-block-iopo   
    
35.    25 root     -50   0     0    0    0 S    0  0.0   0:00.01 sirq-tasklet/1     
    
36.    26 root     -50   0     0    0    0 S    0  0.0   0:00.00 sirq-sched/1      
    
37.    27 root     -50   0     0    0    0 R    0  0.0   0:28.36 sirq-hrtimer/1     
    
38.    28 root     -50   0     0    0    0 R    0  0.0   0:07.86 sirq-rcu/1         
    
39.    29 root      RT   0     0    0    0 S    0  0.0   0:00.00 watchdog/1         
    
40.    30 root      10 -10     0    0    0 S    0  0.0   0:00.00 desched/1         
    
41.    31 root      -2 -20     0    0    0 S    0  0.0   0:00.15 events/0

复制代码

请教下大神，这种问题应该如何定位？

mordorwww

sysrq**好
sysrq**好

tqyou85

mordorwww 发表于 2017-03-14 16:02
sysrq**好
sysrq**好

什么意思？

mordorwww

tqyou85 发表于 2017-03-15 13:40
什么意思？

用 sysrq键
本来写的是 sysrq dafa好， CU给改成sysrq**了

xs3c

为啥要这么复杂，直接perf record -p pid xxx 看就行呢。

tqyou85

Linux kernel对workqueue提供了一个统计的机制（可以辅助定位）
打开Kernelhacking -> Tracing -> Trace workqueue的开关即可，具体代码在trace_workqueue.c中。

统计信息通过debugfs来保存。

1.  mount -tdebugfs none /mnt/

2.  cat/mnt/tracing/trace_stat/workqueues可查看统计信息

1. [fly]# CPU  INSERTED  EXECUTED   NAME
   
2. # |      |         |          |
   
3.   0    411        411       events/0
   
4.   0     11         11       khelper
   
5.   0      0          0       kblockd/0
   
6.   0      0          0       rpciod/0
   
7.   0      0          0       aio/0
   
8.   0      0          0       nfsiod
   
9.   0      0          0       crypto/0
   
10.   0   6593       6593       ff707000.spi
    
11.   1    756        756       events/1
    
12.   1      0          0       kblockd/1
    
13.   1      0          0       rpciod/1
    
14.   1      0          0       aio/1
    
15.   1      0          0       crypto/1[/fly]

复制代码