[原创]perl在编辑巨大文件时的应用

woodie

原帖由 waker 于 2006-7-26 10:17 发表
是的
: >&3已经完成了对文件的操作

exec 3<&-与exec 3>&-都无所谓吧？它只是释放FD表项而已

你说得没错，我那么写只是为了便于理解。^_^

r2007

不知道开始怎么试的，waker的方法很正确，可是现在怎么试结果都是最后的部分没有截断。

r2007

又改进了一下

1. { off=$(($(find file -printf "%s")-$(head -10|wc -c))); dd of=file conv=notrunc bs=32k; :|dd of=file obs=$off seek=1; } <file

复制代码

r2007

去掉也应该没问题

1. { off=$(($(find file -printf "%s")-$(head -10|wc -c))); dd of=file conv=notrunc bs=32k; dd of=file obs=$off seek=1; } <file

复制代码

这里没有用wc取文件尺寸，是因为效率问题，用ls也可以做到。理想情况就是如waker的代码那样根本不用取size，可是不知为什么总是未测试通过，难道我第一次测试看错了？

waker

俺的应该是错的，再考虑一下，先吃饭

waker

饭吃饱了，问题没有解决

r2007

看看perl的这句
truncate( W, tell(W) );
多爽

who TELL me? 可爱的dd，它就在那，它就是不告诉你

r2007

这个有趣，刚试出来的，好像exec n<>file 和 exec n>file不同,在写文件时一个截断为0,一个不截断.

1. { off=$(($(find file -printf "%s")-$(head -10|wc -c))); cat ; dd of=file obs=$off seek=1; } <file 1<>file
   

复制代码

woodie

按flw的思路，仿照perl的rename工具，用perl写了一个简陋的wraper用来在大文件中删除一些行，可以方便简单地调用：

1. $ cat pdel
   
2. #!/usr/bin/perl
   
3. die "Usage: $0 perl-condition file\n" if $#ARGV != 1;
   
4. $cmd = "print W unless ".$ARGV[0];
   
5. $file = $ARGV[1];
   
6. open R, "<$file" or die "Cannot open file ".$file." to read";
   
7. open W, "+<$file" or die "Cannot open file ".$file." to write";
   
8. while(<R>){
   
9.     eval $cmd;
   
10. }
    
11. truncate( W, tell(W) );
    

复制代码

调用方法：
pdel 删除条件 文件名
如删除前10行：
pdel '$. <= 10' file
删除#打头的行：
pdel '/^#/' file
删除空行：
pdel '/^$/' file

[ 本帖最后由 woodie 于 2006-7-26 17:26 编辑 ]

woodie

可惜，29楼的代码在循环中调用eval，会导致性能急剧下降，还得另想办法。

1. #!/usr/bin/perl
   
2. die "Usage: $0 perl-condition file\n" if $#ARGV != 1;
   
3. $cmd = "print W unless ".$ARGV[0];
   
4. $file = $ARGV[1];
   
5. open FH, ">pdel.tmp" or die "Error write script file";
   
6. print FH q[
   
7. open R, "<].$file.q[" or die "Cannot open file ].$file.q[ to read";
   
8. open W, "+<].$file.q[" or die "Cannot open file ].$file.q[ to write";
   
9. while(<R>){
   
10.     ].$cmd.q[;
    
11. }
    
12. truncate( W, tell(W) );];
    
13. if ( system "perl pdel.tmp" )
    
14.     { die "Error execute script"};
    
15. unlink "pdel.tmp";
    

复制代码

上面的代码用了一个临时文件，笨办法。
性能应该没有问题了，用法不变。