以 [小写字符] 标示出杂质

yestreenstars

回复 20# damcool
闲来没事，比较了下目前所有脚本的效率：

1. #测试数据的总行数（由楼主提供的数据复制而来）
   
2. [root@localhost ~]# wc -l i
   
3. 8356 i
   
4. 
   
5. #本人的第一个脚本
   
6. [root@localhost ~]# time ./a1 i | ./a2 | ./a1 | ./a2 > /dev/null
   
7. 
   
8. real    0m5.945s
   
9. user    0m3.985s
   
10. sys     0m0.425s
    
11. 
    
12. #damcool的第一个脚本
    
13. [root@localhost ~]# time awk -f damcool1 i | tac | awk -f damcool1 | tac > /dev/null
    
14. 
    
15. real    0m29.477s
    
16. user    0m21.578s
    
17. sys     0m0.498s
    
18. 
    
19. #damcool的第二个脚本
    
20. [root@localhost ~]# time awk -f damcool2 i > /dev/null
    
21. 
    
22. real    0m16.412s
    
23. user    0m12.278s
    
24. sys     0m0.144s
    
25. 
    
26. #rdcwayx的脚本
    
27. [root@localhost ~]# time awk -f rdcwayx i > /dev/null
    
28. 
    
29. real    0m10.298s
    
30. user    0m7.183s
    
31. sys     0m0.539s
    
32. 
    
33. #本人的第二个脚本
    
34. [root@localhost ~]# time awk -f yestreenstars i > /dev/null
    
35. 
    
36. real    0m8.120s
    
37. user    0m5.816s
    
38. sys     0m0.220s

复制代码

1. [root@localhost ~]# tail a1 a2 damcool1 damcool2 rdcwayx yestreenstars
   
2. ==> a1 <==
   
3.                         }
   
4.                         for(j=i+1;j<=i+a[$(i+1)]&&j<=NF;j++){
   
5.                                 if($j=="X")break;
   
6.                                 $j=tolower($j)
   
7.                         }
   
8.                         $i=tolower($i)
   
9.                 }
   
10.         }
    
11. }
    
12. 1
    
13. 
    
14. ==> a2 <==
    
15. #!/bin/awk -f
    
16. BEGIN{
    
17.         FS=""
    
18. }
    
19. {
    
20.         for(i=1;i<=NF;i++)a[i]=a[i]$i
    
21. }
    
22. END{
    
23.         for(i=1;i<=NF;i++)print a[i]
    
24. }
    
25. 
    
26. ==> damcool1 <==
    
27.                         {
    
28.                                 printf tolower(a[i]);
    
29.                                 x=x-1;
    
30.                                 b[i]=(b[i]>0)?b[i]-1:0;
    
31.                         }
    
32.                         else printf a[i];
    
33.                 }
    
34.         }
    
35.         printf "\n";
    
36. }
    
37. 
    
38. ==> damcool2 <==
    
39.                                         l=l""tolower(a[j]);
    
40.                                         c[j]=c[j]-1;
    
41.                                 }
    
42.                                 else l=l""a[j];
    
43.                         }
    
44.                 }
    
45.                 m[i]=l;
    
46.         }
    
47.         for (i=1;i<=k;i++) print m[i];
    
48. }
    
49. 
    
50. ==> rdcwayx <==
    
51.         }
    
52.     for (j=1;j<=NR;j++)
    
53.        { for (i=1;i<=NF;i++)
    
54.            { if (e[i OFS j]||d[i OFS j])
    
55.                      { printf tolower(a[i OFS j]) }
    
56.              else {printf a[i OFS j] }
    
57.            }
    
58.          printf ORS
    
59.        }
    
60. }
    
61. 
    
62. ==> yestreenstars <==
    
63.                                 }
    
64.                                 b[j,i]=tolower(b[j,i])
    
65.                         }
    
66.                 }
    
67.         }
    
68.         for(i=1;i<=NR;i++){
    
69.                 for(j=1;j<NF;j++)printf b[i,j];
    
70.                 print b[i,NF]
    
71.         }
    
72. }
    
73. [root@localhost ~]#

复制代码

rdcwayx

谢谢测试,我的脚本效果还不错

damcool

yestreenstars 发表于 2013-10-28 16:56
回复 20# damcool
闲来没事，比较了下目前所有脚本的效率：

很不错的比较,让我了解到REGEXP函数或相关的功能效率很差，我修订了一版。速度一下子上去了。另外好像a1a2a1a2版有点问题。

1. #!/bin/awk
   
2. BEGIN{
   
3.         ord["A"]=1;
   
4.         ord["B"]=2;
   
5.         ord["C"]=3;
   
6.         ord["D"]=4;
   
7. }
   
8. {
   
9.         n=split($0,a,"");
   
10.         for (i=1;i<=n;i++)
    
11.         {
    
12.                 if (toupper(a[i])=="X")
    
13.                 {
    
14.                         for (j=i-1;j>=i-ord[toupper(a[i-1])];j--)
    
15.                         {
    
16.                                 if (ord[toupper(a[j])]==0) break;
    
17.                                 a[j]=tolower(a[j]);
    
18.                         }
    
19.                         x=ord[toupper(a[i+1])];
    
20.                         a[i]="x";
    
21.                         b[i]=5;
    
22.                 }
    
23.                 else
    
24.                 {
    
25.                         b[i]=(b[i]>4)?ord[toupper(a[i])]:b[i];
    
26.                         if (x>0 || b[i]>0)
    
27.                         {
    
28.                                 x=(x>0)?--x:0;
    
29.                                 b[i]=(b[i]>0)?--b[i]:0;
    
30.                                 a[i]=tolower(a[i]);
    
31.                         }
    
32.                 }
    
33.         }
    
34.         l="";x=0;
    
35.         for (i=1;i<=n;i++) l=l""a[i];
    
36.         m[++k]=l;
    
37. }
    
38. END{
    
39.         for (i=k;i>0;i--)
    
40.         {
    
41.                 n=split(m[i],a,"");
    
42.                 l="";x=0;
    
43.                 for (j=1;j<=n;j++)
    
44.                 {
    
45.                         if (toupper(a[j])=="X")
    
46.                         {
    
47.                                 l=l"x";
    
48.                                 c[j]=5;
    
49.                         }       
    
50.                         else
    
51.                         {
    
52.                                 c[j]=(c[j]>4)?ord[toupper(a[j])]:c[j];
    
53.                                 if (c[j]>0)
    
54.                                 {
    
55.                                         c[j]--;
    
56.                                         l=l""tolower(a[j]);
    
57.                                 }
    
58.                                 else l=l""a[j];
    
59.                         }
    
60.                 }
    
61.                 m[i]=l;
    
62.         }
    
63.         for (i=1;i<=k;i++) print m[i];
    
64. }
    

复制代码

比较结果如下图：

yinyuemi

sed 版:

1. sed -nr -f f.sed file
   
2. cat f.sed
   
3. #!/usr/bin/sed
   
4. 
   
5. :re;
   
6. s/X/x/g;
   
7. 
   
8. s/[ABCD]x/\L&/;
   
9. s/x[ABCD]/\L&/;
   
10. 
    
11. s/[ABCD]x/\L&/;
    
12. s/x[ABCD]/\L&/;
    
13. 
    
14. s/[ABCD][bB]x/\L&/;
    
15. s/x[bB][ABCD]/\L&/;
    
16. 
    
17. s/x[cC][ABCDabcd]{0,1}[ABCD]/\L&/;
    
18. s/[ABCD][ABCDabcd]{0,1}[cC]x/\L&/;
    
19. 
    
20. s/x[dD][ABCDabcd]{0,2}[ABCD]/\L&/;
    
21. s/[ABCD][ABCDabcd]{0,2}[dD]x/\L&/;
    
22. 
    
23. tre;
    
24. 
    
25. /#/{
    
26.         s/#//g;
    
27.         s/^/\n/;
    
28.         h;
    
29.         :rev2;
    
30.                 g;
    
31.                 s/\n[^\n]/\n/g;
    
32.                 x;
    
33.                 s/\n+([^\n])[^\n]*/\1/gp;
    
34.         trev2;
    
35.         q
    
36. };
    
37. 
    
38. H;
    
39. 
    
40. ${
    
41.         :rev1;
    
42.                 g;
    
43.                 s/\n[^#\n]/\n/g;
    
44.                 x;
    
45.                 s/\n([^#\n])[^\n]*/\1/g;
    
46.                 s/\n#.*//;
    
47.                 s/^/#/;
    
48.                 H;
    
49.                 x;
    
50.                 /^\n+#/{;
    
51.                         s/^\n+//g;
    
52.                         tre;
    
53.                 }
    
54.                 x;
    
55.         trev1;
    
56. }
    

复制代码

yestreenstars

回复 24# yinyuemi
运行结果不太对劲哦~
[root@localhost ~]# sed -nr -f s i
aBDCDCDCaaxcxcdcCABABDCDcDcAabxbaBDCdCDCAABbCDCcaxdbbxaBDCDCDcAAbbcdxcca
bBCDCCABbBabxcdcDCAAbbcdxccaBBbbBABDCDCDCAAbBCDcCaxbbbABCDAAaxbcDADCaxxx
xaBCDCDCaaxbbCCDCCABAbDCdCdCAabxbaBdABACCCaxcdcdCAaBBcDcCABbbxaBDCDCDcaa
aACDCCAAdCabdCDCDCAabxcdxcxaBCDdBABdCDCDCAAbbxbxcaaBBBAbCDAAaxbcDADCAbbB
aDCAAAAaxaBcdCCCCCDCabxbbCcDCCAbABDcDCDCAabxbaBdABdCCCaxcdcDCaAAAABBCdcC
xcccAABDcAaxxaADCCCCCCaACCaAAAAaAAaxbbdccxacDACdAaxcbbBbBBBAAaBCADDCAaxc
xaBCDCDCaaxbbCCDCCABABDCDCdCAabxbaBdABACCcaxcdcdCAaBBCDcCABbbxaBDCDCDCaA
[root@localhost ~]#
红色部分为有问题的地方~
   

yinyuemi

回复 25# yestreenstars


    嗯, 刚才我也发现了, 你再试试我现在的版本有没有问题

yestreenstars

回复 26# yinyuemi
没问题~

   

yinyuemi

回复 27# yestreenstars


    多谢测试！
    sed的效率和各位的awk要低不少～

yestreenstars

回复 28# yinyuemi
是的，不过能写出来就很厉害了，一般这么长的sed我是写不出来的~

   

yestreenstars

回复 23# damcool
为啥我这里测试就没问题咧？

1. #用你提供的方法制造数据（不得不说，学了一招~）
   
2. [root@localhost ~]# tr -dc 'A-DX' < /dev/urandom | head -c 720000 | fold -w 72 > i
   
3. [root@localhost ~]# wc -l i
   
4. 9999 i
   
5. 
   
6. #我的第一个脚本
   
7. [root@localhost ~]# time ./a1 i | ./a2 | ./a1 | ./a2 > a1a2.r
   
8. 
   
9. real    0m4.586s
   
10. user    0m4.429s
    
11. sys     0m0.026s
    
12. 
    
13. #我的第二个脚本
    
14. [root@localhost ~]# time awk -f a i > a.r
    
15. 
    
16. real    0m7.116s
    
17. user    0m6.931s
    
18. sys     0m0.139s
    
19. 
    
20. #你的新脚本（确实比之前的快多了~）
    
21. [root@localhost ~]# time awk -f d i > d.r
    
22. 
    
23. real    0m4.969s
    
24. user    0m4.900s
    
25. sys     0m0.018s
    
26. 
    
27. #差异比较
    
28. [root@localhost ~]# diff a1a2.r a.r
    
29. [root@localhost ~]# diff a1a2.r d.r
    
30. [root@localhost ~]# diff a.r d.r
    
31. [root@localhost ~]#
    

复制代码