去重复<转>

yinyuemi

贴下我的吧，呵呵，

1. awk '
   
2. {e=0
   
3.    {for(i=1;i<NR;i++)
   
4.       if(split("#"gensub(",","##","g",a[i])"#",x,"#"gensub(",","#|#","g",$0)"#")>=6){e=1;break}
   
5.    }
   
6.    if(!e){a[NR]=$0;print $0}
   
7. }'
   
8. 
   
9. 使用fucntion还可以简化下：
   
10. 
    
11. awk '
    
12. function f(a,b){return "#"gensub(",","#"b"#","g",a)"#";}
    
13. {e=0
    
14.    {for(i=1;i<NR;i++)
    
15.       if(split(f(a[i],""),x,f($0,"|"))>=6){e=1;break}
    
16.    }
    
17.    if(!e){a[NR]=$0;print $0}
    
18. }'
    
19. 
    
20. 
    

复制代码

jason680

回复  jason680


思路新颖~
xrzs1986 发表于 2011-09-02 01:57

是的!!

通用性与效能兼具.
(想说在10楼在最底了,
没人看了,没人理.... 效能也没A^3+B^3..好)

waker

是的!!

通用性与效能兼具.
(想说在10楼在最底了,
没人看了,没人理.... 效能也没A^3+B^3..好)
jason680 发表于 2011-09-02 08:28

如果数据量比较大重复多,好像也没12楼的效能好,也可能是我的数据样品没代表性

jason680

如果数据量比较大重复多,好像也没12楼的效能好,也可能是我的数据样品没代表性
waker 发表于 2011-09-02 08:33

不知,你如何评估效能....

12楼有两个for....
且 l (在第一个for中)会愈来愈大....
for(i=1;i<=l;i++){s=0;for(j=1;j<=NF;

注: 我没测试过....且尚可改善效能(如果有须要)......

waker

回复 24# jason680


    time出来的

waker

稍等一会儿我帖一下

waker

1. 
   
2. [waker@proxy ~]$ time awk -F, '{s=0;m=1;for(i=1;i<=NF;i++)s+=$i^3;for(i=1;i<=NF;i++)m*=(!a[s-$i^3]++);if(m)print}' file >/dev/null
   
3. 
   
4. real    0m16.777s
   
5. user    0m13.445s
   
6. sys     0m0.471s
   
7. [waker@proxy ~]$ time  awk -F, '{for(i=1;i<=l;i++){s=0;for(j=1;j<=NF;j++)if(index(a[i],$j))s++;if(s>=5)next}a[++l]=$0}1' file >/dev/null                        
   
8. real    0m25.130s
   
9. user    0m22.973s
   
10. sys     0m0.486s
    
11. [waker@proxy ~]$ time awk -F, '{T="";for(n=0;n++<NF;){T=T","a[$n];a[$n]=a[$n]","NR};split(T,t,",");f=0;for(n in t){if(t[n]=="")continue;if(gsub(t[n],"",T)>=5)f=1};if(f==0)print $0}' file >/dev/null
    
12. 
    
13. 
    
14. real    8m34.754s
    
15. user    7m46.657s
    
16. sys     0m9.780s
    
17. [waker@proxy ~]$ wc -l file
    
18. 388800 file
    

复制代码

最后一种方法是我Ctrl-C出来的时间,还一直在算,等不急了

yinyuemi

1. for((i=1;i<=1000;i++)); do echo '02,10,11,18,27,30
   
2. 06,09,11,14,20,31
   
3. 02,10,11,18,27,33
   
4. 01,03,04,16,18,22
   
5. 07,14,22,27,28,32
   
6. 02,10,11,16,18,27
   
7. 04,05,09,15,21,30
   
8. 12,13,17,20,22,23
   
9. 04,05,09,15,21,30' >>testfile; done
   
10. 
    
11. wc -l testfile
    
12. 9000 testfile
    
13. 
    
14. 4#：
    
15. 
    
16. time awk -F, '{s=0;m=1;for(i=1;i<=NF;i++)s+=$i^3;for(i=1;i<=NF;i++)m*=(!a[s-$i^3]++);if(m)print}' testfile
    
17. 02,10,11,18,27,30
    
18. 06,09,11,14,20,31
    
19. 01,03,04,16,18,22
    
20. 07,14,22,27,28,32
    
21. 04,05,09,15,21,30
    
22. 12,13,17,20,22,23
    
23. 
    
24. real    0m0.154s
    
25. user    0m0.154s
    
26. sys     0m0.000s
    
27. 
    
28. 10#：（ctrl-c 终止程序）
    
29. time awk -F, '{T="";for(n=0;n++<NF;){T=T","a[$n];a[$n]=a[$n]","NR};split(T,t,",");f=0;for(n in t){if(t[n]=="")continue;if(gsub(t[n],"",T)>=5)f=1};if(f==0)print $0}' testfile
    
30. 02,10,11,18,27,30
    
31. 06,09,11,14,20,31
    
32. 01,03,04,16,18,22
    
33. 07,14,22,27,28,32
    
34. 04,05,09,15,21,30
    
35. 12,13,17,20,22,23
    
36. 
    
37. 
    
38. real    10m20.540s
    
39. user    10m18.173s
    
40. sys     0m0.982s
    
41. 
    
42. 
    
43. 12#：
    
44. 
    
45. time awk -F, '{for(i=1;i<=l;i++){s=0;for(j=1;j<=NF;j++)if(index(a[i],$j))s++;if(s>=5)next}a[++l]=$0}1' testfile
    
46. 02,10,11,18,27,30
    
47. 06,09,11,14,20,31
    
48. 01,03,04,16,18,22
    
49. 07,14,22,27,28,32
    
50. 04,05,09,15,21,30
    
51. 12,13,17,20,22,23
    
52. 
    
53. real    0m0.128s
    
54. user    0m0.127s
    
55. sys     0m0.001s
    
56. 
    
57. 
    
58. 21#：
    
59. 
    
60. time awk '
    
61. function f(a,b){return "#"gensub(",","#"b"#","g",a)"#";}
    
62. {e=0
    
63.    {for(i=1;i<NR;i++)
    
64.       if(split(f(a[i],""),x,f($0,"|"))>=6){e=1;break}
    
65.    }
    
66.    if(!e){a[NR]=$0;print $0}
    
67. }' testfile
    
68. 02,10,11,18,27,30
    
69. 06,09,11,14,20,31
    
70. 01,03,04,16,18,22
    
71. 07,14,22,27,28,32
    
72. 04,05,09,15,21,30
    
73. 12,13,17,20,22,23
    
74. 
    
75. real    0m0.841s
    
76. user    0m0.837s
    
77. sys     0m0.001s
    
78. 
    
79. 
    
80. 4#waker兄的效率很高，不过适用于数值型数据
    
81. 10# 通用性好，不过效率上要差
    
82. 12# 如Tim兄所言，数值是2位的，效率很高
    
83. 21# 通用性上稍差，如果是文本去重复的，且文本中包含正则符号或","或"#"，可能会有问题（10#的代码使用gsub可能也有类似问题，没测试），效率上比4#和12#的要差
    
84. 
    

复制代码

xiaopan3322

好贴留名，学习！

jason680

yinyuemi 发表于 2011-09-02 09:18

请问楼主何者正确....
$ cat repeat5a
01,02,03,04,05,06
01,02,03,04,05,07
01,02,03,04,07,09

1. $ awk -F, '{s=0;m=1;for(i=1;i<=NF;i++)s+=$i^3;for(i=1;i<=NF;i++)m*=(!a[s-$i^3]++);if(m)print}' repeat5a

复制代码

01,02,03,04,05,06

1. $ awk -F, '{for(i=1;i<=l;i++){s=0;for(j=1;j<=NF;j++)if(index(a[i],$j))s++;if(s>=5)next}a[++l]=$0}1' repeat5a

复制代码

01,02,03,04,05,06
01,02,03,04,07,09