行内多列之间比较

mswsg

大家新年好！
有个问题，请教大家.输出前两列相同的行
例子

1. 12  13 ad cs
   
2. 12   13 fd  gh
   
3. 10    23 gf  cs

复制代码

结果

1. 12 13 ad cs
   
2. 12 13 fd  gh

复制代码

这个命令

1. awk '!a[$1$2]++'

复制代码

只能去重，不能列出重复的行

yestreenstars

提供另一种方式：

1. awk '{t=$1" "$2;a[t]++;b[t]=b[t]?b[t]"\n"$0:$0}END{for(i in a)if(a[i]>1)print b[i]}'

复制代码

mswsg

论坛搜到的一个方法，由ly5066113给出awk 'NR==FNR{a[$1]++}NR>FNR&&a[$1]>1' test test

sunzhiguolu

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. my ($sLastKey, @aData) = ("");
   
6. while (<DATA>){
   
7.     my @aList = split;
   
8.     my $sKey = "@aList[0,1]";
   
9.     if ($sLastKey eq ""){
   
10.         $sLastKey = $sKey;
    
11.         push (@aData, join ("\t", @aList, "\n"));
    
12.         next;
    
13.     }
    
14.     if ($sLastKey eq $sKey){
    
15.         push (@aData, join ("\t", @aList, "\n"));
    
16.         next;
    
17.     }
    
18.     print @aData if (@aData > 1);
    
19.     $sLastKey = $sKey;
    
20.     @aData = ();
    
21.     push (@aData, join ("\t", @aList, "\n"));
    
22. }
    
23. 
    
24. print @aData if (@aData > 1);
    
25. 
    
26. __DATA__
    
27. 12  13 ad cs
    
28. 12   13 fd  gh
    
29. 10    23 gf  cs
    
30. 10 23   gf cc
    

复制代码

sunzhiguolu

发重了, 占个位置.

mswsg

我来个python版的

1. with open('1.txt', 'r') as f:
   
2.     alist = []
   
3.     duplicate_alist = []
   
4.     lines = f.readlines()
   
5.     for line in lines:
   
6.         line = line.strip().split()
   
7.         if line[0:2] not in alist:
   
8.             alist.append(line[0:2])
   
9.         else:
   
10.             duplicate_alist.append(line[0:2])
    
11.     print alist
    
12.     print duplicate_alist
    
13. if len(duplicate_alist) > 0:
    
14.     with open('1.txt', 'r') as f:
    
15.         for line in f:
    
16.             column = line.strip().split()
    
17.             if column[0:2] in duplicate_alist:
    
18.                 print line.strip()

复制代码

moperyblue

1. awk 'a[$1$2]{print i=!i?a[$1$2] RS $0:$0;next}{i=0;a[$1$2]=$0}'
   
2. awk 'NR==FNR{a[$1$2]++;next}a[$1$2]>1' file file

复制代码