如何实现计算文本行数最快

不能超过15字

文件记录数1000w行，wc -l 是1s。大婶们谁有更好的计算文本行数的方法。perl/python/c 等等，各种语言都可以。

jason680

回复 1# 不能超过15字


http://bbs.chinaunix.net/forum.p ... mp;fromuid=24785593

   

chengchow

不知道你怎么用wc -l的,直接wc -l file绝对用不了1s
gentoo ~ # a=`date +%s`;wc -l 1;b=`date +%s`;echo "$b-$a"|bc
10000000 1
0
gentoo ~ # a=`date +%s`;cat 1 | wc -l;b=`date +%s`;echo "$b-$a"|bc
10000000
1

Herowinter

回复 1# 不能超过15字

计算换行符个数的都差不多,O(n)的复杂度.
另外和楼主比,发现我的虚拟机性能弱爆了...

1. time seq 10000000|wc -l
   
2. 10000000
   
3. 
   
4. real    0m5.689s
   
5. user    0m5.604s
   
6. sys     0m0.072s
   
7. 
   
8. time seq 10000000|sed -n '$='
   
9. 10000000
   
10. 
    
11. real    0m6.409s
    
12. user    0m6.270s
    
13. sys     0m0.124s

复制代码

ly5066113

回复 4# Herowinter


慢在 seq ，而不是 wc
试试：

seq 10000000 > test.txt
time wc -l test.txt

Herowinter

回复 5# ly5066113

恩,多谢多谢,上面的命令还有个管道,肯定慢不少.
这下快多了,根本不需要1秒,wc比sed快不少.
要找一个比wc更高效的,超出个人能力范围了...

1. time wc -l test.txt
   
2. 10000000 test.txt
   
3. 
   
4. real    0m0.086s
   
5. user    0m0.069s
   
6. sys     0m0.017s
   
7. 
   
8. time sed -n '$=' test.txt
   
9. 10000000
   
10. 
    
11. real    0m0.740s
    
12. user    0m0.719s
    
13. sys     0m0.022s
    
14. 
    
15. time awk 'END{print NR}' test.txt
    
16. 10000000
    
17. 
    
18. real    0m0.547s
    
19. user    0m0.515s
    
20. sys     0m0.020s
    

复制代码

q1208c

刚刚看了下, wc 其实是 每次读进来 16k. 然后 计算 回车的数量.

楼主如果要加快, 可以试着每次读进来64k或者更长的数据, 看看会不会快一些.

另外, 楼上的两位, 那不是wc够快, 是 seq 出来的 行 不够长. 只是够多.

yestreenstars

回复 7# q1208c

I think so.
   

reb00t

求上wc命令的源码～～

ly5066113

回复 7# q1208c


计算行数，还有比 wc 更快的命令么？自己重新写的不算。