[原创]perl在编辑巨大文件时的应用

woodie

原帖由 waker 于 2006-7-26 08:35 发表
to woodie兄：
[code]# perl -i -ne 'print if $. > 10' file1|lsof -a -c perl -d0-9
COMMAND   PID USER   FD   TYPE DEVICE    SIZE    NODE NAME
perl    16279 root    0u   CHR  136,3               ...

惭愧惭愧，真没注意到，谢谢指出！
仔细看看，两个的inode的确不同，前面的文件后面还有(deleted)字样。再研究研究...

r2007

当时我也纳闷，难道可以预见写指针在读指针之前？

perl不懂的说
瞎写的，懂perl的不要骂我：perl -i bla bla s/$/fffffffffffffffffffffffffffffffffffffffffffffff/ file

如果像这样的插入，该不成程序会自动监测读和写指针的位置，如果写指针要超过读指针就在缓冲区等待？但是如何防止缓冲数据无节制的增长呢？

waker

原帖由 r2007 于 2006-7-25 23:27 发表
勉强来个命令组合的

1. off=$(($(head -10 file|wc -c)+0))
   
2. n=$(dd if=file of=file ibs=1 skip=$off conv=notrunc 2>&1)
   
3. :|dd of=file obs=${n%%+*} seek=1
   

复制代码

btw:火兄慢走[img]http://bbs ...

用fd是不是就不用算了

1. 
   
2. exec 3<file
   
3. head -10 <&3
   
4. dd of=file conv=notrunc <&3
   
5. :|dd >&3
   
6. exec 3<&-
   

复制代码

没那么多空间测试

r2007

原帖由 waker 于 2006-7-26 09:13 发表

用fd是不是就不用算了

1. 
   
2. exec 3<file
   
3. head -10 <&3
   
4. dd of=file conv=notrunc <&3
   
5. :|dd >&3
   
6. exec 3<&-
   

复制代码

没那么多空间测试

妙啊，当初很想利用这些关键位置，苦思不得其解，没想到新开一个fd就迎刃而解了
赞一个

woodie

刚才搞了个loop分区测试了一下，在文件大于分区容量的50%后不久，虽然能够执行完毕，但perl -i开始丢失数据，可见它仍然需要足够的磁盘空间。看来perl -i还是有问题，不好意思误导了！

r2007

to waker:

dd >&3
为啥能在那个位置截断呢？没参透。

waker

FD3不是一直记录着指针么？

woodie

只要
: >&3
就可以了，我想问题的关键是：这里用的是>&3， 即以写的方式操作了fd3。
写成下面这样就更容易理解了：

1. exec 3<file
   
2. head -10 <&3
   
3. dd of=file conv=notrunc <&3
   
4. : >&3
   
5. exec 3>&-

复制代码

注意最后两行是大于号。

PS: 妙！小弟真是抛砖引玉了，引出二位精妙的讨论，太棒了！

waker

是的
: >&3已经完成了对文件的操作

exec 3<&-与exec 3>&-都无所谓吧？它只是释放FD表项而已

woodie

关于perl-i是我搞错了，摘一段perl的文档：

1. 
   
2. ...
   
3. -i[extension]
   
4. 
   
5.     specifies that files processed by the <> construct are to be edited in-place. It does this by renaming the input file, opening the output file by the original name, and selecting that output file as the default for print() statements.
   
6. ...

复制代码

不求甚解的毛病害人呐！对不起大家了。
看来perl -i只能用在空间充足的场合，虽然它的性能还是不错的。