如何快速取得超大文件（1G以上）最后一行的行号

zarcao

如何快速取得超大文件（1G以上）最后一行的行号，就是整个文件的行数，使用wc命令或用open遍历文件，感觉速度慢啊.......

churchmice

没办法的
除非你自己在这个所谓的超大文件头部加点信息进去

Perlvim

读取大文件，遍历文件句柄，要用 while , 不能用 foreach.
while 每次只读一行的内容到内存，读完就释放掉了，foreach 则要把整个文件都读进来。
很耗用内存。

1. use strict;
   
2. use warnings;
   
3. use 5.010;
   
4. use autodie;
   
5. 
   
6. open(my $fh, '<', 'one_G_file');
   
7. $. = 0;
   
8. while (<$fh>) {
   
9.     print $. if eof;
   
10. }
    

复制代码

toniz

你看到得是一行，但其实它只是/r ，/n 或者  /r/n  ，所以遍历还是必须的。{:3_195:}

zzmmgjj

maybe you can sysread a chunk of text and search for "\n", that can help reduce the latency of I/O read which is the slowest thing for this task.

Perlvim

听说 sysread 比 read 读文件更快，标准 I/O 最慢。但 sysread & read 每次读取固定字节的数据，无法判断换行符的位置。匹配 & 累加，似乎更增加了额外计算量。希望有心人有空测试一下。

zzmmgjj

after the chunk of text is read, use s/// or tr to count the "\n", then you have the total of line number. At least it will work with ascii text file. It is trickier if the file is not ascii encoded, I would guess.

flw

如果 wc 做的好的话，应该就没有比 wc 更快的方法了

wfg21314wang

用File：：Slurp模块 比open快

Perlvim

1G的文件用 Slurp ，太夸张了，除非是4G的内存