去重复-新情况

yinyuemi

今天在“The UNIX and Linux Forums”上看到一个关于去重复的帖子，觉得以前没有看过这样的例子，大家可以练练手：>

1. 
   
2. cat file
   
3. 
   
4. 2 B:M 17
   
5. 3 M:B 16
   
6. 4 B:M 15
   
7. 5 M:B 14
   
8. 6 M:B 13
   
9. 7 B:M 11
   
10. 9 B:M 27
    
11. 10 B:M 26
    
12. 11 M:B 25
    
13. 13 B:M 6
    
14. 14 B:M 5
    
15. 15 M:B 4
    
16. 16 B:M 3
    
17. 17 M:B 2
    
18. 19 A:M 3
    
19. 22 A:B 14
    
20. 23 A:M 6
    
21. 24 A:B 13
    
22. 25 B:M 11
    
23. 26 M:B 10
    

复制代码

2 B:M 17 和 17 M:B 2
3 M:B 16 和 16 B:M 3
……
为重复，要求是保留第一个，除去第二个。

下面是我写的，觉得不够简练，应该还能更简练

1. awk -F"[:| ]" '{a[$1$2$3$4]=1;b[NR]=$0}{if($4$3$2$1 in a) c[NR]=1}END{for(i=1;i<=NR;i++) {if(!(i in c)) print b[i]}}' file

复制代码

expert1

up,没什么思路，

jason680

今天在“The UNIX and Linux Forums”上看到一个关于去重复的帖子，觉得以前没有看过这样的例子，大家可以练 ...
yinyuemi 发表于 2011-02-23 03:00

awk -F"[: ]" '{if(!(a[$4$3$2$1]==1||a[$1$2$3$4]==1))print;a[$1$2$3$4]=1}' file

yinyuemi

awk -F"[: ]" '{if(!(a[$4$3$2$1]==1||a[$1$2$3$4]==1))print;a[$1$2$3$4]=1}' file
jason680 发表于 2011-02-23 10:35

    赞！！！

你的还可以在精炼一下

1. awk -F"[: ]" '!(a[$4$3$2$1]||a[$1$2$3$4]){print;a[$1$2$3$4]=1}' file

复制代码

jason680

回复 4# yinyuemi


意思到了就好了.....
再精练只是字数(code长度)问题,没有多大意义....

相同思维...(改用正向判断与next)
awk -F"[: ]" '{if(a[$4$3$2$1]||a[$1$2$3$4])next;print;a[$1$2$3$4]=1}' file

miniqq

如果所谓的“重复” 就是 “直接反转” ，那没什么意思！

ywlscpl

1. awk -F '[: ]+' '!a[$4$3$2$1]++;{a[$1$2$3$4]++}' file

复制代码

正向重复和逆向重复都去

yinyuemi

正向重复和逆向重复都去
ywlscpl 发表于 2011-02-23 13:22

    学习，多谢白云苍狗兄！

chenbin200818

回复 7# ywlscpl


    这样写 更清晰点

awk -F '[: ]+' '!a[$4$3$2$1]++;{print ;a[$1$2$3$4]=1}' file

cjaizss

sed的

1. 
   
2. sed -rn '/^[ \t]*$/d;H;x;s/[ \t]//g;
   
3. /\n([^\n]+)(.):(.)([^\n]+)\n(.*\n)?(\1\2:\3\4|\4\3:\2\1)$/{x;d;};x;p' urfile
   

复制代码