shell 如何更高效的处理top10问题呢？

jack3801283

非常常见的问题，比如一个很大很大的日志文件，要统计出出现次数最多的IP数量，找出top10

常见的方法是直接sort|head -10

如果文件大了的话  就先split  再sort -m|head -10

两种方法其实都是做了排序的   有没有什么更快的方法呢？

除了使用hadoop下的pig脚本进行数据统计。


求教啊！

dn833

1. [root@IMG01 logs]# grep -c "." access.log
   
2. 6208898
   
3. [root@IMG01 logs]# time awk '{a[$1]+=1};END{for(i in a)print i,a[i]}' access.log |sort -nr -k2,2|head -10
   
4. 221.199.206.68 398592
   
5. 119.147.74.172 224457
   
6. 119.147.6.170 222899
   
7. 119.147.6.162 221070
   
8. 119.147.6.158 220960
   
9. 119.147.6.157 220415
   
10. 119.147.6.148 213430
    
11. 14.105.228.69 208828
    
12. 183.63.148.42 168526
    
13. 114.91.143.13 157362
    
14. 
    
15. real        0m3.335s
    
16. user        0m3.042s
    
17. sys        0m0.295s

复制代码

jack3801283

  太给力了！   回复 2# dn833


   

jack3801283

但如果文件再大点呢？ 比如是20G的日志呢？ 回复 2# dn833


   

dn833

回复 4# zooyo

zooyo，我不太理解为什么你这种理论上应该比较快的方法反而慢了呢？

1. [root@01 logs]# time awk '{a[$1]++}END{l=asort(a,b);for(i=l;i>l-10;i--){for(j in a){if(a[j]==b[i])print j}}}' access.log
   
2. 119.2.8.195
   
3. 221.199.206.68
   
4. 119.147.6.170
   
5. 119.147.74.172
   
6. 119.147.6.158
   
7. 119.147.6.157
   
8. 119.147.6.162
   
9. 119.147.6.148
   
10. 14.105.228.69
    
11. 183.63.148.42
    
12. 
    
13. real        0m7.354s
    
14. user        0m6.051s
    
15. sys        0m0.583s
    
16. [root@01 logs]# time awk '{a[$1]+=1};END{for(i in a)print i,a[i]}' access.log |sort -nr -k2,2|head -10
    
17. 119.2.8.195 464052
    
18. 221.199.206.68 398591
    
19. 119.147.74.172 285922
    
20. 119.147.6.170 285890
    
21. 119.147.6.158 284856
    
22. 119.147.6.157 283061
    
23. 119.147.6.162 282853
    
24. 119.147.6.148 273743
    
25. 14.105.228.69 208827
    
26. 183.63.148.42 168525
    
27. 
    
28. real        0m5.748s
    
29. user        0m5.238s
    
30. sys        0m0.508s
    
31. 
    
32. [root@01 logs]# du -h access.log
    
33. 2.2G        access.log

复制代码

dn833

回复 7# zooyo


    比较奇怪为什么少用管道了反而慢。。。。。。