【求助】 如何去除按行排列重复的数据行

bmechuangye

部分数据如下：
A-3118-1        Xr1:143360933        A-3118-3        Xr1:142543754
A-3118-1        Xr15:21033448        A-3118-4        Xr1:142662802
A-3118-1        Xr1:143117763        A-3118-2        Xr1:142619698
A-3118-2        Xr1:142619698        A-3118-1        Xr1:143117763
A-3118-2        Xr1:143342816        A-3118-3        Xr1:143117761
A-3118-3        Xr1:142543754        A-3118-1        Xr1:143360933
A-3118-3        Xr1:143117761        A-3118-2        Xr1:143342816
B-mir-1233-1        Xr15:34817214        B-mir-1233-2        Xr15:34671002
B-mir-1233-2        Xr15:34671002        B-mir-1233-1        Xr15:34817214
请问各位如何实现去除大量数据中按行排列重复的数据行即除去标为红色的行？谢谢！

kwokcn

按行排列重复，再具体说明一下吧。

kwokcn

看明白了。

1. 
   
2. awk '!a[$1"_"$2"_"$3"_"$4]&&!a[$3"_"$4"_"$1"_"$2]{print; a[$1"_"$2"_"$3"_"$4]=1}' URFILE
   

复制代码

bmechuangye

回复 3# kwokcn


非常感谢！“!a[$1"_"$2"_"$3"_"$4]&&!a[$3"_"$4"_"$1"_"$2]”中 “!”是什么意思？是“不存在“意思吗？

但我只列出了数据的部分列数，实际上数据列数更多如三十列，如何处理呢？我不知道如何在一行中将这一行中的各列数据按一定顺序重排（比如按打头字母或数值大小排列或比如你这里的排列）？实现了这一点的话，然后"sort -u"就可以了，但问题是又如何将原来对应的重排前的行（原样）输出呢？ 我还不知如何处理。

ywlscpl

1. awk '!a[$1","$3]++&&!a[$3","$1]++' file

复制代码

汗一个按行排列重复

ywlscpl

回复 4# bmechuangye


把数据贴出来，说明下如何按列重复过滤数据
比如顶楼的例子是按第1列、第3列进行重复过滤

Perl_Er

回复 1# bmechuangye


    awk的关联数组也可以

ubuntuer

1. awk '!a[$1_$2]++&&!a[$3_$4]++' urfile

复制代码

Shell_HAT

回复 4# bmechuangye


!的意思是“逻辑非”，不是“不存在”。

bmechuangye

回复 6# ywlscpl
谢谢！
比如说列数这么多的

1. 
   
2. Xr1        142667288        142667363        A-3118-1        +        75        1        Xr1        142543754        142731022        Xr1:143360933        -        Xr1        143424140        143424215        A-3118-3        960        -        75        1        Xr1        143360933        143544525        Xr1:142543754        -
   
3. Xr1        142667288        142667363        A-3118-1        +        75        1        Xr1        142662802        142670536        Xr15:21033448        +        Xr15        21038123        21038198        A-3118-4        960        +        75        1        Xr15        21033448        21040734        Xr1:142662802        +
   
4. Xr1        142667288        142667363        A-3118-1        +        75        1        Xr1        142619698        142731022        Xr1:143117763        +        Xr1        143163749        143163822        A-3118-2        960        +        73        1        Xr1        143117763        143227450        Xr1:142619698        +
   
5. Xr1        143163749        143163822        A-3118-2        +        73        1        Xr1        143117763        143227450        Xr1:142619698        +        Xr1        142667288        142667363        A-3118-1        960        +        75        1        Xr1        142619698        142731022        Xr1:143117763        +
   
6. Xr1        143163749        143163822        A-3118-2        +        73        1        Xr1        143117761        143245601        Xr1:143342816        -        Xr1        143424140        143424215        A-3118-3        960        -        75        1        Xr1        143342816        143466731        Xr1:143117761        -
   
7. Xr1        143424140        143424215        A-3118-3        -        75        1        Xr1        143360933        143544525        Xr1:142543754        -        Xr1        142667288        142667363        A-3118-1        960        +        75        1        Xr1        142543754        142731022        Xr1:143360933        -
   
8. Xr1        143424140        143424215        A-3118-3        -        75        1        Xr1        143342816        143466731        Xr1:143117761        -        Xr1        143163749        143163822        A-3118-2        960        +        73        1        Xr1        143117761        143245601        Xr1:143342816        -

复制代码