分割日志

p8712351

1378107072.936      0 10.10.52.4 TCP_MEM_HIT  200 67716 GET http://www.iche.com/ - NONE  text/html
1378107077.007      0 10.10.52.4 TCP_MEM_HIT  200 593 GET http://www.a.com/ - NONE  text/html
1378107176.062     36 10.10.52.4 TCP_MISS  504 1579 GET http://www.b.com/ - FIRST_UP_PARENT  text/html

童鞋们，有上面这样格式的一个日志，其中包含多种url，我想按照url分割日志，将同一个url的日志放在一起，并且将名字命名为分割后日志中url的名字

alyfrisk

回复 1# p8712351

1. import re
   
2. 
   
3. result = {}
   
4. 
   
5. with open("t.txt", "r") as fdr:
   
6.     for line in fdr.readlines():
   
7.         urllist = line.rstrip().split(" ")
   
8.         for url in urllist:
   
9.             if re.match("^http", url):
   
10.                 key = url.split("www.")[-1].split(".com")[0]
    
11.                 if not result.has_key(key):
    
12.                     result[key] = []
    
13.                 result[key].append(line.rstrip())
    
14. 
    
15. for name, content in result.items():
    
16.     with open(name + ".out", "w+") as fdw:
    
17.         for line in content:
    
18.             fdw.write(line + "\n")

复制代码

conn2011

import re
for row in open(fn,"rb").readlines():
    try:
        open(re.search(r"http://(.+?)/",row).group(1),"w+").write(row)
    except:
        open("nourl.txt","w+").write(row)

yakczh_cu

readlines(): 这是读出所有行吧，对于日志文件不太合适　

alyfrisk

回复 3# conn2011

这个不错，够简洁！
   

pitonas

不错 3楼

p8712351

谢谢各位，我参考了1楼的了，之后忘记感谢各位了，抱歉

sageskr

#!/usr/local/bin/python
#-*- encoding:utf8 -*-
#author:sageskr
import re,time
input_log = open("/home/work/python/temp/log",'r')
input_log.seek(0,0)
while True:
    line = input_log.readline()
    if not line:
        time.sleep(1)
    else:
        regex_url = re.compile(r"http://([^/]+)")
        rt = regex_url.search(line).group(1)
        out_log = open('/home/work/python/temp/%s_log' %(rt),'a')
        out_log.write(line)
        #print >> out_log,line
        out_log.flush()
        out_log.close()


我这个可以实时的采集日志，并汇总输出。希望不吝赐教