如何快速统计一个大文件的行数?

yangyang1581

直接用wc -l 很慢    sed '$=' 也慢`  awk 'END{print NR}' 也是很慢`
请问大侠谁还有高招

Shell_HAT

1. grep -Fc "" urfile

复制代码

jiejie455

试试 cut -c -2 huge.file | wc -l

mpstat

以我的经验wc -l 应该是最快的了..

1. 
   
2. [work@yf-ccl08]~/wx/ims>$ time wc -l aa
   
3. 275070000 aa
   
4. 
   
5. real    0m9.138s
   
6. user    0m6.574s
   
7. sys     0m2.564s
   
8. [work@yf-ccl08]~/wx/ims>$ time wc -l < aa
   
9. 275070000
   
10. 
    
11. real    0m9.048s
    
12. user    0m6.474s
    
13. sys     0m2.574s
    
14. [work@yf-ccl08]~/wx/ims>$ grep -Fc "" aa
    
15. 275070000
    
16. [work@yf-ccl08]~/wx/ims>$ time grep -Fc "" aa
    
17. 275070000
    
18. 
    
19. real    0m17.129s
    
20. user    0m14.834s
    
21. sys     0m2.295s
    
22. [work@yf-ccl08]~/wx/ims>$ time grep -Fc "" aa
    
23. 275070000
    
24. 
    
25. real    0m17.006s
    
26. user    0m14.637s
    
27. sys     0m2.366s
    
28. [work@yf-ccl08]~/wx/ims>$

复制代码

dn833

jiejie455 发表于 2012-02-21 15:25
试试 cut -c -2 huge.file | wc -l

跟楼上的几种方法比较，你这个肯定最慢。。。。。

nuclearxin

wc 下 再去躺wc
肯定算好了

tianlijian

能有比wc更快的吗？

xrzs1986

wc的算法经过优化的，除非你的文件结构特殊，你自己有针对的写代码去优化，要不然很难比 WC 的效率更高的。

jiejie455

回复 7# nuclearxin


    恩，有管道，肯定最慢