如何查询10G以上的日志文件

elu_ligao

有好的解决方法在这里共享下， 大家都学习下

laotu586

使用split 切割吧

prcardin

grep -F 有测试吗，效率怎么样

找到了好的解决方法了吗，分享下

sunzhiguolu

elu_ligao 发表于 2016-04-25 16:08
有好的解决方法在这里共享下， 大家都学习下

                       

Windows19

回复 20# 我叫萌萌

要快用这个  但也要看您硬盘读写缓存参数啊

1. grep -Ff B log

复制代码

moperyblue

回复 10# 我叫萌萌


    网上有说 grep 之前先LANG=C 对ASCII字符查找比较快一些,可以试一下

1. time LANG=C grep t users.txt
   
2. 5
   tom
   
3. 
   
4. real    0m0.004s
   
5. user    0m0.000s
   
6. sys     0m0.003s

复制代码

sunzhiguolu

以前好像看过一个类似的帖子, 最终的结果就像 Jason680 大神说的那样导入数据库进行查询. (如果文件非常大的话)

我叫萌萌

回复 23# prcardin


    这个没试过

我叫萌萌

回复 27# sunzhiguolu



导入数据库很麻烦,没有测试用的数据库，还要安装个数据库

   

mswsg

好吧，还要快啊，我以为至少别卡死就好啊，python用元祖解析不知道速度在呢么样

print(x for x in a if x=='date')