4亿行数据,挑出长度不合要求的行

草肃威

回复 17# aluoyeshi


    你这个是匹配 非10个字符 的行吗?我运行的结果好像不对啊

aluoyeshi

回复 21# 草肃威


    是，删除10个字符的行，有什么问题？

redspider

简单文本处理，sed效率最高，但是如果逻辑复杂的话，写出来，估计自己都很难理解。
awk比较容易理解，但是处理手段还是有一定限制。语言不够丰富，逻辑复杂中等，效率中等。
perl逻辑性强、灵活度最高，但效率较sed或awk低。
...
perl看来只能用在低数据量的处理场合，如原型测试、网管或测试环境等。

上面的话见 http://bbs.chinaunix.net/thread-1714400-5-2.html 47楼。
为了上面的评价，和 zenith518 纠结了几层楼。
以扯淡结帖。 俺想，lz的测试结果可以作为一个参考。

ps: 不知道 zenith518 会不会嫌弃 4亿行的数据量太小，不足以说明问题

redspider

推荐大家用 Perl ，而不是 Shell 来处理文本

亦或像对待 sed、awk 一样，将 Perl 当成 Shell 的一部分

草肃威

回复 22# aluoyeshi


    给个和上面的逻辑一样的吧, 把不等于10个字符的行输出到另一个文件
这样不会有IO的差别

beginner-bj

刚才试了下，sed比perl快

1. 08:27:44 root@ST-TEST:[/]#>file
   
2. a=1
   
3. 08:27:45 root@ST-TEST:[/]#a=1
   
4. 08:27:45 root@ST-TEST:[/]#while [ $a -le 1000 ];do
   
5. >         ((a=$a+1))
   
6. >         cat /etc/services >>file
   
7. > done
   
8. 08:27:55 root@ST-TEST:[/]#time perl -lne 'print if length != 10' file > list.bad
   
9. 
   
10. real    0m31.04s
    
11. user    0m25.94s
    
12. sys     0m1.99s
    
13. 08:29:06 root@ST-TEST:[/]#time sed '/........../d' file > list.bad2
    
14. 
    
15. real    0m10.69s
    
16. user    0m7.73s
    
17. sys     0m1.47s
    
18. 08:29:33 root@ST-TEST:[/]#time perl -lne 'print if length != 10' file > list.bad3
    
19. 
    
20. real    0m30.37s
    
21. user    0m25.68s
    
22. sys     0m2.00s
    
23. 08:30:19 root@ST-TEST:[/]#

复制代码

beginner-bj

上一贴sed命令的结果与perl不一致，重试了下

1. 08:36:06 root@ST-TEST:[/]#time sed '/^.\{10\}$/d' file > list.bad4
   
2. 
   
3. real    0m19.47s
   
4. user    0m12.48s
   
5. sys     0m2.73s
   
6. 08:36:43 root@ST-TEST:[/]#time sed '/^.\{10\}$/d' file > list.bad5
   
7. 
   
8. real    0m19.13s
   
9. user    0m12.46s
   
10. sys     0m2.71s
    
11. 08:37:09 root@ST-TEST:[/]#time perl -lne 'print if length != 10' file > list.bad6
    
12. 
    
13. real    0m29.88s
    
14. user    0m22.17s
    
15. sys     0m1.37s
    
16. 08:37:43 root@ST-TEST:[/]#

复制代码

beginner-bj

awk 'length($0)!=10' file换成awk '!/^..........$/' file后速度提高很多，想必perl -lne 'print if length != 10' file换成同样的思路，速度也会提高。

beginner-bj

回复 21# 草肃威

那个写法要改成如下之一：
sed '/^..........$/d'
sed '/^.\{10\}$/d'

beginner-bj

没想到是这样的结果。

1. 09:16:50 root@ST-TEST:[/]#rm list.bad*
   
2. 09:17:02 root@ST-TEST:[/]#time perl -lne 'print if(!/^..........$/)' file > list.bad
   
3. 
   
4. real    0m32.77s
   
5. user    0m28.18s
   
6. sys     0m2.04s
   
7. 09:18:13 root@ST-TEST:[/]#time awk '!/^..........$/' file > list.bad2
   
8. 
   
9. real    0m23.18s
   
10. user    0m19.30s
    
11. sys     0m2.05s
    
12. 09:19:25 root@ST-TEST:[/]#time sed '/^..........$/d' file > list.bad3
    
13. 
    
14. real    0m16.28s
    
15. user    0m11.84s
    
16. sys     0m2.81s
    
17. 09:19:44 root@ST-TEST:[/]#time perl -lne 'print if(!/^..........$/)' file > list.bad4
    
18. 
    
19. real    0m33.44s
    
20. user    0m28.29s
    
21. sys     0m2.04s
    
22. 09:20:27 root@ST-TEST:[/]#ls -l list.bad*
    
23. -rw-r--r--   1 root     system    345381000 Jun 13 09:18 list.bad
    
24. -rw-r--r--   1 root     system    345381000 Jun 13 09:19 list.bad2
    
25. -rw-r--r--   1 root     system    345381000 Jun 13 09:19 list.bad3
    
26. -rw-r--r--   1 root     system    345381000 Jun 13 09:20 list.bad4
    
27. 09:20:38 root@ST-TEST:[/]#

复制代码