去重复<转>

yinyuemi

文本：

02,10,11,18,27,30
06,09,11,14,20,31
02,10,11,18,27,33
01,03,04,16,18,22
07,14,22,27,28,32
02,10,11,16,18,27
04,05,09,15,21,30
12,13,17,20,22,23
04,05,09,15,21,30

去重复的规则：

02,10,11,18,27,30
06,09,11,14,20,31
02,10,11,18,27,33(和第1条重复5个,去掉)
01,03,04,16,18,22
07,14,22,27,28,32
02,10,11,16,18,27(和第1条重复5个,去掉)
04,05,09,15,21,30
12,13,17,20,22,23
04,05,09,15,21,30(和倒数3条重复6个,去掉)


输出结果：

02,10,11,18,27,30
06,09,11,14,20,31
01,03,04,16,18,22
07,14,22,27,28,32
04,05,09,15,21,30
12,13,17,20,22,23

yinyuemi

回复 2# liion631818


    恩，是这个意思

yinyuemi

回复 6# mpstat


    应该是排好序的，每行都是从小到大的

yinyuemi

回复 4# waker


    老大，这个太猛了！

yinyuemi

贴下我的吧，呵呵，

1. awk '
   
2. {e=0
   
3.    {for(i=1;i<NR;i++)
   
4.       if(split("#"gensub(",","##","g",a[i])"#",x,"#"gensub(",","#|#","g",$0)"#")>=6){e=1;break}
   
5.    }
   
6.    if(!e){a[NR]=$0;print $0}
   
7. }'
   
8. 
   
9. 使用fucntion还可以简化下：
   
10. 
    
11. awk '
    
12. function f(a,b){return "#"gensub(",","#"b"#","g",a)"#";}
    
13. {e=0
    
14.    {for(i=1;i<NR;i++)
    
15.       if(split(f(a[i],""),x,f($0,"|"))>=6){e=1;break}
    
16.    }
    
17.    if(!e){a[NR]=$0;print $0}
    
18. }'
    
19. 
    
20. 
    

复制代码

yinyuemi

1. for((i=1;i<=1000;i++)); do echo '02,10,11,18,27,30
   
2. 06,09,11,14,20,31
   
3. 02,10,11,18,27,33
   
4. 01,03,04,16,18,22
   
5. 07,14,22,27,28,32
   
6. 02,10,11,16,18,27
   
7. 04,05,09,15,21,30
   
8. 12,13,17,20,22,23
   
9. 04,05,09,15,21,30' >>testfile; done
   
10. 
    
11. wc -l testfile
    
12. 9000 testfile
    
13. 
    
14. 4#：
    
15. 
    
16. time awk -F, '{s=0;m=1;for(i=1;i<=NF;i++)s+=$i^3;for(i=1;i<=NF;i++)m*=(!a[s-$i^3]++);if(m)print}' testfile
    
17. 02,10,11,18,27,30
    
18. 06,09,11,14,20,31
    
19. 01,03,04,16,18,22
    
20. 07,14,22,27,28,32
    
21. 04,05,09,15,21,30
    
22. 12,13,17,20,22,23
    
23. 
    
24. real    0m0.154s
    
25. user    0m0.154s
    
26. sys     0m0.000s
    
27. 
    
28. 10#：（ctrl-c 终止程序）
    
29. time awk -F, '{T="";for(n=0;n++<NF;){T=T","a[$n];a[$n]=a[$n]","NR};split(T,t,",");f=0;for(n in t){if(t[n]=="")continue;if(gsub(t[n],"",T)>=5)f=1};if(f==0)print $0}' testfile
    
30. 02,10,11,18,27,30
    
31. 06,09,11,14,20,31
    
32. 01,03,04,16,18,22
    
33. 07,14,22,27,28,32
    
34. 04,05,09,15,21,30
    
35. 12,13,17,20,22,23
    
36. 
    
37. 
    
38. real    10m20.540s
    
39. user    10m18.173s
    
40. sys     0m0.982s
    
41. 
    
42. 
    
43. 12#：
    
44. 
    
45. time awk -F, '{for(i=1;i<=l;i++){s=0;for(j=1;j<=NF;j++)if(index(a[i],$j))s++;if(s>=5)next}a[++l]=$0}1' testfile
    
46. 02,10,11,18,27,30
    
47. 06,09,11,14,20,31
    
48. 01,03,04,16,18,22
    
49. 07,14,22,27,28,32
    
50. 04,05,09,15,21,30
    
51. 12,13,17,20,22,23
    
52. 
    
53. real    0m0.128s
    
54. user    0m0.127s
    
55. sys     0m0.001s
    
56. 
    
57. 
    
58. 21#：
    
59. 
    
60. time awk '
    
61. function f(a,b){return "#"gensub(",","#"b"#","g",a)"#";}
    
62. {e=0
    
63.    {for(i=1;i<NR;i++)
    
64.       if(split(f(a[i],""),x,f($0,"|"))>=6){e=1;break}
    
65.    }
    
66.    if(!e){a[NR]=$0;print $0}
    
67. }' testfile
    
68. 02,10,11,18,27,30
    
69. 06,09,11,14,20,31
    
70. 01,03,04,16,18,22
    
71. 07,14,22,27,28,32
    
72. 04,05,09,15,21,30
    
73. 12,13,17,20,22,23
    
74. 
    
75. real    0m0.841s
    
76. user    0m0.837s
    
77. sys     0m0.001s
    
78. 
    
79. 
    
80. 4#waker兄的效率很高，不过适用于数值型数据
    
81. 10# 通用性好，不过效率上要差
    
82. 12# 如Tim兄所言，数值是2位的，效率很高
    
83. 21# 通用性上稍差，如果是文本去重复的，且文本中包含正则符号或","或"#"，可能会有问题（10#的代码使用gsub可能也有类似问题，没测试），效率上比4#和12#的要差
    
84. 
    

复制代码

yinyuemi

回复 30# jason680


    好问题！
   因为我是转贴，所以也并不完全明白去重复的规则，
   我的理解，如果是你提供的那个数据，我觉得第二个是对的，
   
   不过，如果数据的顺序不同，结果有可能也会不同，的确很纠缠，可以不去讨论细节了，
   大家解决问题的思路都值得学习！