大文件读取的效率问题

BigStone2

现在有一个20M左右的文本文件（大概18万行左右吧），要对里面的数据进行解析

比如说下面的脚本巴

1. 
   
2. for item in `grep FAILURE foo.txt`
   
3. do
   
4.      blabla... parsing... copy....
   
5. done
   

复制代码

现在大概执行了2个多小时都没有执行完，请问大虾们有没有效率更高的做法。

正在试另外一种做法：

1. 
   
2. while read LINE
   
3. do
   
4.     echo $LINE | grep FAILURE >>/dev/null 2>>/dev/null
   
5.     if [ $? -eq 0 ]
   
6.     then
   
7.         blabla...parsing...copy....
   
8.     fi
   
9. done < foo.txt
   

复制代码

不过看起来也很耗时，郁闷阿

[ 本帖最后由 BigStone2 于 2005-11-28 16:45 编辑 ]

寂寞烈火

grep FAILURE foo.txt >newfile 不成吗?!

waker

grep FAILURE foo.txt >>test_log.txt

是这个意思吧？

BigStone2

原帖由 寂寞烈火 于 2005-11-28 16:35 发表
grep FAILURE foo.txt >newfile 不成吗?!

这里面只是一个示范，实际应用要对查出来的每一行数据进行解析

BigStone2

烈火兄，救火阿，第一次在production 上执行了8，9个小时，都没有出来结果，郁闷，看了一本关于performance tuning 的文章，说第二种方法会快一些...

一般来说读取这样的数据需要多少时间啊？

[ 本帖最后由 BigStone2 于 2005-11-28 16:43 编辑 ]

waker

这主要取决于你的处理费多少时间吧？
循环用不了你几秒时间
另外如果你grep出的行很多的话，最好别用for in 了吧

r2007

是这样吗？去掉 -F 看看哪个快？

1. grep -F  FAILURE foo.txt|while read LINE
   
2. do
   
3.         echo $LINE >> test_log1.txt
   
4. done
   

复制代码

BigStone2

现在假设每个循环里面就是echo, cut什么的，我感觉已经很慢了....

现在正在试第二种方法， 好像也很慢， 执行了半个小时，什么动静都没用

有其他更好的方式吗？ 不知道perl, awk会不会快很多

waker

如果只是cut用perl awk是会快的
因为它省去了不少系统fork 进程的时间

我想是处理出了问题（假设每个循环里没套循环）不会这么慢 20M不是大文件