请斑竹们，请教->TB级日志，用啥模块 打开，提取相关字段，入库 最快呢

wfg21314wang

有好多log上了TB，对这些文件一次读取，并挑选出特定字段，并入库，请问哪个模块最好呢？？？
好像open打开会不好

moxnet

请问你后端用的是啥库?noSQL?haddop?

wfg21314wang

后端乃mysql是也，也有oracle

moxnet

你一次性读取, 你的内存中能放的下么?

另, 这么大的数据量, mysql/Oracle处理起来....

wfg21314wang

用while不行么？不是foreach。。。

iakuf

才 1TB ,如果压缩的话，大约是 0.07% ，也就是 72G 的样子，然后使用 open 打开，使用 bzcat 来打开，直接使用 while 一行行处理，处理完的内容不会有多大的。

wfg21314wang

存库用什么模块 。。。

wfg21314wang

存库用什么模块 。。。

RE_HASH

Dbi

wfg21314wang

{:3_191:}