新手的烦恼－－文件处理的效率问题[已解决]

sthcf

因文件数量很多（每个20万条记录），用脚本进行处理，如果用while read line的方法处理，效率很低，是否有其它方法效率会高些？如果直接把文件导入数组再进行处理会不会比较快？那要如何快速的导入到数组中？

[ 本帖最后由 sthcf 于 2008-12-16 09:52 编辑 ]

biglazybug

楼主想怎么处理把文件 和处理需求贴出来 大伙帮你看看 ....
新手的烦恼 脑海中总联想到成长的烦恼.......

sthcf

有很多个文件，每个文件20W左右（大概是2W行），其它大部分内容符合下面这样的一个规律：1、连续的6行；2、这6行各包含一个不同的关键字

我需要把这部分符合规律的内容拿出来，之前通过read line的方式已经做好了，但是发现效率是个大问题，一个20W行的文件，大概需要处理20分钟左右的时间，但要求是30分钟要处理5个文件，本来以为多进程可以实现，但发现起5进程需要处理100分钟，跟单进程进行没区别，请问需要怎样才能解决这样的效率问题

ly5066113

如果文件不涉及什么机密就贴出一点来看看。

walkerxk

“把这部分符合规律的内容拿出来”
grep就可以的吧，grep -oE "你的正则表达式" file
具体规律是什么？
或者贴你的脚本，可能你的脚本效率有问题。

sthcf

20081204 23:23:05 [INFO ](2875556) 转换后帐单科目: 2020 FILE:[RealBillOperator.cpp],LINE:[119]
20081204 23:23:05 [INFO ](2875556) 普通单 FILE:[RealBillOperator.cpp],LINE:[244]
20081204 23:23:05 [INFO ](2875556) Ebox Info:[0~0~0~0~0~2265~0~0] FILE:[RB_Woff.cpp],LINE:[140]
20081204 23:23:05 [INFO ](2875556) After Woff Ebox Info:[0~0~0~0~0~2250~0~0] FILE:[RB_Woff.cpp],LINE:[739]
20081204 23:23:05 [INFO ](2875556) 销帐结果 : [7544004392954 | 0 | 2250 | 0 | 0 ] FILE:[RealBillOperator.cpp],LINE:[304]
20081204 23:23:05 [INFO ](2875556) After Woff Ebox Info:[0~0~0~0~0~2250~0~0] FILE:[RB_Woff.cpp],LINE:[739]
20081204 23:23:05 [INFO ](2875556) 解析清单 [ 13556409826 | SC | 01 | 4 | 00001 | | B| 15 | | 1 | 05 | N | 0]! FILE:[RealBill
Operator.cpp],LINE:[115]
20081204 23:23:05 [INFO ](2875556) 转换后帐单科目: 2020 FILE:[RealBillOperator.cpp],LINE:[119]
20081204 23:23:05 [INFO ](2875556) 普通单 FILE:[RealBillOperator.cpp],LINE:[244]
20081204 23:23:05 [INFO ](2875556) Ebox Info:[0~4819~0~0~0~0~0~0] FILE:[RB_Woff.cpp],LINE:[140]
20081204 23:23:05 [INFO ](2875556) After Woff Ebox Info:[0~4804~0~0~0~0~0~0] FILE:[RB_Woff.cpp],LINE:[739]
20081204 23:23:05 [INFO ](2875556) 销帐结果 : [7544002264722 | 0 | 4804 | 0 | 0 ] FILE:[RealBillOperator.cpp],LINE:[304]
20081204 23:23:05 [INFO ](2875556) After Woff Ebox Info:[0~4804~0~0~0~0~0~0] FILE:[RB_Woff.cpp],LINE:[739]
20081204 23:23:05 [INFO ](2875556) 解析清单 [ 13612384090 | SC | 01 | 4 | 00001 | | B| 15 | | 1 | 05 | N | 0]! FILE:[RealBill
Operator.cpp],LINE:[115]
20081204 23:23:05 [INFO ](2875556) 转换后帐单科目: 2020 FILE:[RealBillOperator.cpp],LINE:[119]
20081204 23:23:05 [INFO ](2875556) 普通单 FILE:[RealBillOperator.cpp],LINE:[244]
20081204 23:23:05 [INFO ](2875556) Ebox Info:[0~0~0~0~0~915~0~0] FILE:[RB_Woff.cpp],LINE:[140]
20081204 23:23:05 [INFO ](2875556) After Woff Ebox Info:[0~0~0~0~0~900~0~0] FILE:[RB_Woff.cpp],LINE:[739]
20081204 23:23:05 [INFO ](2875556) 销帐结果 : [7544004393795 | 0 | 900 | 0 | 0 ] FILE:[RealBillOperator.cpp],LINE:[304]
20081204 23:23:05 [INFO ](2875556) 解析清单 [ 15815091162 | SC | 01 | 4 | 00001 | | B| 15 | | 1 | 05 | N | 0]! FILE:[RealBill
Operator.cpp],LINE:[115]
20081204 23:23:05 [INFO ](2875556) 转换后帐单科目: 2020 FILE:[RealBillOperator.cpp],LINE:[119]
20081204 23:23:05 [INFO ](2875556) 普通单 FILE:[RealBillOperator.cpp],LINE:[244]
20081204 23:23:05 [INFO ](2875556) Ebox Info:[0~515~0~0~0~0~0~0] FILE:[RB_Woff.cpp],LINE:[140]
20081204 23:23:05 [INFO ](2875556) After Woff Ebox Info:[0~500~0~0~0~0~0~0] FILE:[RB_Woff.cpp],LINE:[739]
20081204 23:23:05 [INFO ](2875556) 销帐结果 : [7544005374769 | 0 | 500 | 0 | 0 ] FILE:[RealBillOperator.cpp],LINE:[304]
20081204 23:23:05 [INFO ](2875556) 解析清单 [ 15815022838 | SC | 01 | 4 | 00001 | | B| 15 | | 1 | 05 | N | 0]! FILE:[RealBill
Operator.cpp],LINE:[115]
20081204 23:23:05 [INFO ](2875556) 转换后帐单科目: 2020 FILE:[RealBillOperator.cpp],LINE:[119]
20081204 23:23:05 [INFO ](2875556) 普通单 FILE:[RealBillOperator.cpp],LINE:[244]

sthcf

完整的6行是这样的

20081204 23:23:05 [INFO ](2875556) 解析清单 [ 13556409826 | SC | 01 | 4 | 00001 | | B| 15 | | 1 | 05 | N | 0]! FILE:[RealBill
Operator.cpp],LINE:[115]
20081204 23:23:05 [INFO ](2875556) 转换后帐单科目: 2020 FILE:[RealBillOperator.cpp],LINE:[119]
20081204 23:23:05 [INFO ](2875556) 普通单 FILE:[RealBillOperator.cpp],LINE:[244]
20081204 23:23:05 [INFO ](2875556) Ebox Info:[0~4819~0~0~0~0~0~0] FILE:[RB_Woff.cpp],LINE:[140]
20081204 23:23:05 [INFO ](2875556) After Woff Ebox Info:[0~4804~0~0~0~0~0~0] FILE:[RB_Woff.cpp],LINE:[739]
20081204 23:23:05 [INFO ](2875556) 销帐结果 : [7544002264722 | 0 | 4804 | 0 | 0 ] FILE:[RealBillOperator.cpp],LINE:[304]

sthcf

需要把符合的条件的6行，每一行取一小部分内容形成新的一条记录记录下来，请高手们看看

biglazybug

恩 说说具体需求哦 想怎么取6行的内容形成新的呢

walkerxk

原帖由 sthcf 于 2008-12-15 14:33 发表
需要把符合的条件的6行，每一行取一小部分内容形成新的一条记录记录下来，请高手们看看

问题在于你要取哪部分？总不会是每行第一个字母吧。