急等awk处理maillog大文件

guobaofu

CUer，大家好，
我现在遇到一个问题，就是awk处理3个G的文件，非常的慢，等很长时间也没有结果。机器配置挺高的。
我的例子文件只有10000行，awk很快就能检索出我的需要的数据。
但是我们生产环境的mail log都是几千万行级别的，我是每分钟需要检索数据来自于上次行号到这次末行的记录。

请大家帮我优化一下awk,如果能够实现单行perl也行，我可以嵌套到shell里面。





awk 'BEGIN {sent=0;reject=0} {
                   if (NR>'"$_last_line"' && NR<='"$_current_line"' && $0 ~ /to=.*status=sent/){sent++}
                   else if ($0 ~ /postfix.*reject:/){reject++}
                   };
                   END {printf("Sent Messages: %.1f\n" "Reject Messages: %.1f\n",sent/60,reject/60) }' /var/log/maillog

wh7211

awk没有多少优化空间，刚才用你的代码测试了一个10M大小、10万行记录的maillog只需要1秒，建议你分割一下maillog然后再运行代码。

chengchow

这个用tail去做，awk/sed/grep都是将文件全文读取到内存再处理，处理大文件效率非常低下，给你个我这边处理日志的脚本，自己去看
思路是，想通过tail从后往前，每次读取1000行，直到满足自己要求为止，目前监控最后2分钟日志，最多的一个项目每次读取大约50000多行，全文不低于2000W行，3G+,JAVA日志
最后对已经读取的日志做处理，目前用于生产，处理每天几个G日志关键词过滤，基本上抓取下2-3秒，全文抓取20秒以上

1. #!/usr/bin/env python
   
2. #coding:utf-8
   
3. 
   
4. """
   
5.         log_path:        日志相对路径，取gluster[*]之后路径
   
6.         key_value:        日志中出现的关键词
   
7.         point_of_time:        日志时间点，单位(minutes)
   
8.         how_many_times:        关键词出现次数
   
9. """
   
10. 
    
11. import os
    
12. import sys
    
13. import time
    
14. #import re
    
15. 
    
16. ## 规范参数数量
    
17. if len(sys.argv) != 5 :
    
18.         print "\nUsage: " + __file__ + " %log_path% %key_value% %point_of_time% %how_many_times%"
    
19.         print __doc__
    
20.         sys.exit()
    
21. 
    
22. ## 定义参数
    
23. LogHome=['/data/logs/gluster1','/data/logs/gluster2','/data/logs/gluster3'] ## 集群路径，列表模式
    
24. ThorldCount=0        ## 关键词出现次数初始值
    
25. RowCount=1000        ## 每次过滤日志行数
    
26. RowNum=200                ## 总过滤次数
    
27. LogList=[]                ## 设置一个空列表给日志路径
    
28. 
    
29. ## 读取带入参数
    
30. LogFile=sys.argv[1]
    
31. KeyWord=sys.argv[2]
    
32. DiffMin=sys.argv[3]
    
33. KeyWordCountThorld=sys.argv[4]
    
34. 
    
35. ## 连接日志路径
    
36. for i in LogHome :
    
37.         if os.path.isfile(i + '/' + LogFile) :
    
38.                 LogList.append(i + '/' + LogFile)
    
39. 
    
40. if len(LogList)==0 :
    
41.         print "NULL"
    
42.         sys.exit(2)
    
43. 
    
44. ## 轮询处理日志列表
    
45. for log in LogList :
    
46.         NowTimeStamp=int(time.time())
    
47.         OldTimeStamp=int(time.time())-int(DiffMin)*60
    
48.         NowTime=time.strftime('%Y-%m-%d %H:%M',time.localtime(NowTimeStamp))
    
49.         OldTime=time.strftime('%Y-%m-%d %H:%M',time.localtime(OldTimeStamp))
    
50. 
    
51. ## 以RowCount为单位找出需求时间内最短日志
    
52.         for num in range(1,RowNum+1) :
    
53.                 HeadTime=os.popen('tail -' + str(RowCount*num)  + ' ' + log + ' | awk -F, \'NR==1{print $1}\'').read().strip('\r\n')
    
54.                 try:
    
55.                         HeadTimeStamp=int(time.mktime(time.strptime(str(HeadTime),'%Y-%m-%d %H:%M:%S')))
    
56.                 except:
    
57.                         continue
    
58.                 if HeadTimeStamp <= OldTimeStamp :
    
59.                         break
    
60.                 elif num==RowNum :
    
61.                         break
    
62. 
    
63. ## 找出需求时间内最早日志时间
    
64.         for i in range(1,int(DiffMin)+1) :
    
65.                 ReCode=os.system('tail -' + str(RowCount*num)  + ' ' + log + ' | grep -P \'' + OldTime + '\' > /dev/null 2>&1')
    
66.                 if ReCode<>0 :
    
67.                         OldTimeStamp+=i*60
    
68.                         OldTime=time.strftime('%Y-%m-%d %H:%M',time.localtime(OldTimeStamp))
    
69.                 else :
    
70.                         OldTimeStamp=OldTimeStamp
    
71.                         OldTime=time.strftime('%Y-%m-%d %H:%M',time.localtime(OldTimeStamp))
    
72.                         break
    
73. ## 获取日志中关键词出现次数并自加到ThorldCount
    
74.         ThorldCount+=int(os.popen('tail -' + str(RowCount*num)  + ' ' + log + ' | sed -n "/^' + OldTime + '/,/^' + NowTime + '/p" | grep "' + KeyWord + '" | wc -l').read().strip('\r\n'))
    
75.                
    
76. ## 规范输出
    
77. if ThorldCount<=int(KeyWordCountThorld) :
    
78.         print 'OK --- 关键词: ' + KeyWord + '; 触发: ' + str(ThorldCount) + " (次); 读取日志: " + str(RowCount) + '*' + str(num) + ' (行); 开始时间: ' + str(OldTime) + '; 结束时间: ' + str(NowTime)
    
79.         sys.exit(0)
    
80. else :
    
81.         print 'WARNING --- 关键词: ' + KeyWord + '; 触发: ' + str(ThorldCount) + " (次); 读取日志: " + str(RowCount) + '*' + str(num) + ' (行); 开始时间: ' + str(OldTime) + '; 结束时间: ' + str(NowTime)
    
82.         sys.exit(2)

复制代码

jason680

回复 1# guobaofu

1. awk 无法解决你的问题
  没有 file seek function

2. 有file seek function 功能可以
C/C++, Perl, Python,Java,...

3. 其他方法
数据库,分割大文件,...

wh7211

回复 1# guobaofu



用tail把maillog中的从第${_last_line}行到最后一行的记录重定向到新文件1.tmp，再用awk处理1.tmp：

1. tail -n +${_last_line}  /var/log/maillog > 1.tmp
   
2. awk 'BEGIN{sent=0;reject=0}/to=.*status=sent/{sent++}/postfix.*reject:/{reject++};END{printf("Sent Messages: %.1f\nReject Messages: %.1f\n",sent/60,reject/60)}' 1.tmp

复制代码

guobaofu

谢谢各位大神的帮助～～