去重复<转>

yinyuemi

文本：

02,10,11,18,27,30
06,09,11,14,20,31
02,10,11,18,27,33
01,03,04,16,18,22
07,14,22,27,28,32
02,10,11,16,18,27
04,05,09,15,21,30
12,13,17,20,22,23
04,05,09,15,21,30

去重复的规则：

02,10,11,18,27,30
06,09,11,14,20,31
02,10,11,18,27,33(和第1条重复5个,去掉)
01,03,04,16,18,22
07,14,22,27,28,32
02,10,11,16,18,27(和第1条重复5个,去掉)
04,05,09,15,21,30
12,13,17,20,22,23
04,05,09,15,21,30(和倒数3条重复6个,去掉)


输出结果：

02,10,11,18,27,30
06,09,11,14,20,31
01,03,04,16,18,22
07,14,22,27,28,32
04,05,09,15,21,30
12,13,17,20,22,23

liion631818

没看明白怎么办，每一行都是跟他前面的行比较，重复5个或者以上就去掉？

yinyuemi

回复 2# liion631818


    恩，是这个意思

waker

1. 
   
2. awk -F, '{s=0;m=1;for(i=1;i<=NF;i++)s+=$i^3;for(i=1;i<=NF;i++)m*=(!a[s-$i^3]++);if(m)print}'
   

复制代码

waker

如果每个域都是正整数，好象是可以的

mpstat

回复  liion631818


    恩，是这个意思
yinyuemi 发表于 2011-09-01 13:31

    顺序要不要考虑？比如

02,10,11,18,27,30
02,10,27,11,18,30

是不是重复

yinyuemi

回复 6# mpstat


    应该是排好序的，每行都是从小到大的

yinyuemi

回复 4# waker


    老大，这个太猛了！

mpstat

waker 发表于 2011-09-01 13:48

  。。。没看懂，解释一下

jason680

文本：

02,10,11,18,27,30
06,09,11,14,20,31
02,10,11,18,27,33
01,03,04,16,18,22
07,14,22,27,28 ...
yinyuemi 发表于 2011-09-01 12:55

$ echo '02,10,11,18,27,30
06,09,11,14,20,31
02,10,11,18,27,33
01,03,04,16,18,22
07,14,22,27,28,32
02,10,11,16,18,27
04,05,09,15,21,30
12,13,17,20,22,23
04,05,09,15,21,30' | awk -F, '{T="";for(n=0;n++<NF{T=T","a[$n];a[$n]=a[$n]","NR};split(T,t,",";f=0;for(n in t){if(t[n]==""continue;if(gsub(t[n],"",T)>=5)f=1};if(f==0)print $0}'
02,10,11,18,27,30
06,09,11,14,20,31
01,03,04,16,18,22
07,14,22,27,28,32
04,05,09,15,21,30
12,13,17,20,22,23