如何查询10G以上的日志文件

我叫萌萌

Shell_HAT 发表于 2016-04-25 15:28
这样也许可以稍微快点，你试试10G的文件需要多久。

用了   fgrep   grep -P  半天都出不来！

我叫萌萌

Shell_HAT 发表于 2016-04-25 15:28
这样也许可以稍微快点，你试试10G的文件需要多久。

有更好的办法吗？  用脚本也行！

elu_ligao

先split分割？ 日志文件应该到了一定大小就要自动分割下更好

我叫萌萌

回复 13# elu_ligao


    以前不是我做啊   没有分割啊  现在要查数据呢

elu_ligao

额， 我的意思是你先把这个大文件分割成一些小一点的文件， 再grep

我叫萌萌

elu_ligao 发表于 2016-04-25 15:38
额， 我的意思是你先把这个大文件分割成一些小一点的文件， 再grep

怎么做？   没做过

jason680

回复 12# 我叫萌萌


>>    有更好的办法吗？

数据库---(可能)不是你想要的...

我叫萌萌

jason680 发表于 2016-04-25 15:45
回复 12# 我叫萌萌

用数据库太麻烦了！

elu_ligao

你man 一下split ， 可以试一下
split -b 500m log log_
for file in `ls log_*`; do grep "data" $file >> file.out; done
不知道这样要多长时间， 没处理过大文件

我叫萌萌

elu_ligao 发表于 2016-04-25 15:59
你man 一下split ， 可以试一下
split -b 500m log log_
for file in `ls log_*`; do grep "data" $file  ...

谢谢大神....  我要查的记录有100多条不同的记录,哎！