在Perl中怎么实现利用缓冲区读写文件？？

riverlee2008

我今天测试的文件大小为17G，共297,500,391行，根据每一行的特定列判断是否将其写入文件，结果花了我125分钟，时间太长了。不知道有没有优化的方法啊。

lokchungk

Perl不適合作這些事,
Llama書曾提過Digest:erl::MD5和Digest::MD5的速度相比之下,
Perl比C慢上300倍(大約300,忘了實際數字).

forlorngenius

这速度，感觉已经够快乐。
俺3w的数据花了5秒，不过我判断的条件多

forlorngenius

难道用c裸写？？

forlorngenius

我上次看一个家伙写了个shell用来sort几G的文件。
先是把文件给split，然后分配成几个process来做，他是以cpu个数来分得，还ssh多远程作业。
我觉得你可以试试

xiaoyafeng

这个问题我以前也遇到过.很多时候和内存无关，而是跟CPU和IO有关。

简单的处理你可以分成几个部分，多进程。

如果你硬盘空间大，做一个index也行。

riverlee2008

原帖由 forlorngenius 于 2008-7-22 17:00 发表
我上次看一个家伙写了个shell用来sort几G的文件。
先是把文件给split，然后分配成几个process来做，他是以cpu个数来分得，还ssh多远程作业。
我觉得你可以试试

能不能说具体点，我是想要对文件排序，根据文件中每一行的特定列（该列数值）按从小到大排序，只是文件确实太大了，不容易实现啊！求救中

riverlee2008

用File::ReadBackwards模块可能会好点，个人测试了如果用传统的<>一行一行读取文件并存入数组，1，000，000行花了26S，而用File::ReadBackwards模块，同样的操作，时间是16s

houyawei

如果是UNIX环境去分割文件还好，但是我用的是Windows呀，
另外我也测试过了，Perl中的多线程好像没有用！

houyawei

我也用过这个File::ReadBackwards模块来测试，好像速度跟直接读一行写一行差不多。
我测试的360MB的数据，大约210万行的数据。
测试代码如下：

use File::ReadBackwards ;

# Object interface

print "耗时测试开始:\n";
$date_tst = localtime(time);
print "$date_tst \n";

$bw = File::ReadBackwards->new( 'file4read.txt' ) or die "can't read 'log_file' $!" ;

open ( writefile , ">b.txt" );


while( defined( $log_line = $bw->readline ) )
{
   print writefile  $log_line;
}



close( writefile );

print "耗时测试结束:\n";
$date_tst = localtime(time);
print "$date_tst \n";