如何查询10G以上的日志文件

SeAL80s

做日志的时候，不可以指定日志文件大小吗？到一定大小就另开一个文件。对于大文件没有太好的办法吧，你现在是70G，日子久了，可以到700G，那个时候怎么办？就算现在有读70G日志的办法，也不一定可以读700G。。。

mswsg

我的做法再大的文件也会卡死，速度怎样没测试过
用法，将下列代码保存为 xxx.py
然后运行：
python test.py --input 1.txt --date 2012-05-29 > out.txt

1. #!/usr/bin/env python
   
2. # -*- coding: utf-8 -*-
   
3. __author__ = 'shengwei ma'
   
4. __author_email__ = 'shengweima@icloud.com'
   
5. import sys
   
6. import getopt
   
7. 
   
8. input_file = ""
   
9. date = ""
   
10. 
    
11. try:
    
12.    opts, args = getopt.getopt(sys.argv[1:], "h", ["input=", "date="])
    
13. except getopt.GetoptError as err:
    
14.     print(str(err))
    
15. for op, value in opts:
    
16.     if op == "--input":
    
17.         input_file = value
    
18.     elif op == "--date":
    
19.         date = str(value)
    
20.     elif op == "-h":
    
21.         print("python replace_line.py --input your_input_file --date 2011-1-1 >> output_file")
    
22.         sys.exit()
    
23. # 上边的代码与本次文件读取无关,从下边开始是 读取每行,并判断是否含有规定的日期,有的话,输出这一行"
    
24. with open(input_file, 'r') as f:
    
25.     for line in f:
    
26.         data = line.strip().split()
    
27.         for i in range(len(data)):
    
28.             if data[i] == date:
    
29.                 print line,

复制代码

mswsg

其实真正的就4,5行，就好了，其他的忽略。。回复 5# Windows19


   

我叫萌萌

回复 31# SeAL80s


    所以现在准备做日志分割

mswsg

大哥，你就试试，我写的看看咋样，我实在想知道这种方法速度咋样回复 34# 我叫萌萌


   

weihu120

回复 35# mswsg 哥们，我发现你对python真是太有爱了，虽然我也很喜欢python

   

sunzhiguolu

回复 32# mswsg
这个是你名字拼音吗 shengwei ma, . 比较好奇.
=> ma weisheng

   

mswsg

学生物的，正在学习python呢，正好，这上边的问题练练手，加强对python基本语法的理解，共同学习哈回复 36# weihu120


   

mswsg

Yes，ma sheng wei 回复 37# sunzhiguolu


   

qq5910225

你试试mawk