如何应用日志格式化输出

sambafeng

现有如下不规则的日志，想通过python脚本，按行读取，将每行不是日期开头的行加载到上一行。请python高手帮忙！SOS

原文件

2013-11-05 11:14:34,561 http-n[issue.customfields.impl.CascadingSelectCFType] Object passed 'null' is not an Option but is null
fafa
2013-11-05 11:15:34,680 Sending mailitem com.atlassian.jira.mail.SubscriptionMailQueueItem owner  Mail Queue
fafa
发放
123
2013-11-05 11:15:58,184 http-nio-80-exec-31 WARN liqizhu 675x170130x1 nqwvds
fjaklfjakl
ada12

目标文件

2013-11-05 11:14:34,561 http-n[issue.customfields.impl.CascadingSelectCFType] Object passed 'null' is not an Option but is nullfafa
2013-11-05 11:15:34,680 Sending mailitem com.atlassian.jira.mail.SubscriptionMailQueueItem owner  Mail ueue fafa 发放123
2013-11-05 11:15:58,184 http-nio-80-exec-31 WARN liqizhu 675x170130x1 nqwvds fjaklfjakl ada12

icymirror

伪代码的步骤：
文件打开，读取所有行的内容到list:用readlines, 不是用read
关闭文件

然后，对每行进行日期的转换循环，在循环内使用try except
如果转换正常，加入结果集建议用list比较省事
如果异常，追加到结果集中最后一条记录的尾部

代号：军刀

1. import re
   
2. for line in open('urfile').readlines():
   
3.     if re.match("^\d+-\d+-\d+",line):
   
4.         if 'var' in dir():
   
5.             print var
   
6.         var=line.strip("\n")
   
7.     else:
   
8.         var=var+line.strip("\n")
   
9. print var

复制代码

icymirror

3楼的方法比我的省事，呵呵，我的还要用转换检测，3楼的用正则来检测，呵呵。

q1208c

这个好象直接用 sed 就行了吧? 不用 python 这么复杂吧 ?

sambafeng

3楼V5，如果可以，而且效率很高，谢谢啊

q1208c

3楼的方法有个小问题, 如果文件很大很大 ... ...

icymirror

回复 7# q1208c


    正常啊，先能正常工作，再调优。如果是大文件，再根据情况调优就是了，呵呵。

q1208c

回复 8# icymirror

如果是大文件, 就直接OOM了.  


   

icymirror

回复 9# q1208c


    这要看你的文件有多大、内存有多少，还有多少硬盘可以缓存blablabla.不需要一次性考虑那么多的，呵呵。