删除复杂重复项

xingzhou823

在数据处理的过程中会遇到如下的问题
1234 abc
4567 dfg
abc 1234
dfg 4567
6789 sac
sac 6789
....

中间TAB隔开。

现在要去除重复的行，得到如下结果
1234 abc
4567 dfg
6789 sac
...
如果是同一列中出现了重复我会弄，现在是不同列的重复，不知道怎么去重了。

xingzhou823

1. #!usr/bin/perl
   
2. 
   
3. my $file = $ARGV[0];
   
4. my %tmp;
   
5. open TEST,$file or die "can not open";
   
6. while(<TEST>){
   
7.         my $word = (split(/\s+/))[0];#0代表第一列，1代表第二列。
   
8.         next if(! $word);
   
9.         if(!exists $tmp{$word}){
   
10.                 print ;
    
11.                 $tmp{$word}=1;
    
12.         }
    
13. }
    
14. close TEST;

复制代码

这样只能删除第一列相同的数据，不能达到我的目的。

yinyuemi

回复 2# xingzhou823

1. perl -e 'open(fh,"file"); while(<fh>){@a=split;print if(!$hash{$a[0,1]}++ and !$hash{$a[1,0]}++)};close(fh)'
   

复制代码

xingzhou823

回复 3# yinyuemi

你好，这个命令行代码好复杂，另外我是在window上面运行的，把单引号改成双引号，然后跑程序，显示错误呢。
我也不会修改。




   

yinyuemi

回复 4# xingzhou823

1. #!/usr/bin/env perl
   
2. open(fh,"file") or die "$!";
   
3. my %hash;
   
4. while(<fh>){
   
5.     my @a=split;
   
6.     print if(!$hash{$a[0,1]}++ and !$hash{$a[1,0]}++);
   
7. };
   
8. close(fh);'

复制代码

kk861123

yinyuemi 发表于 2012-10-11 18:19
回复 4# xingzhou823

我想将@a 排序后可适应更多列的情况：

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. my %h;
   
6. while (<DATA>) {
   
7.     my @a = sort split;
   
8.     print if !$h{"@a"}++;
   
9. }
   
10. 
    
11. __DATA__
    
12. 1234 abc
    
13. 4567 dfg
    
14. abc 1234
    
15. dfg 4567
    
16. 6789 sac
    
17. sac 6789

复制代码

yinyuemi

回复 6# kk861123

@kk861123
    学习了～

xingzhou823

回复 5# yinyuemi
嗯，多谢了

   

rubyish

kk861123 发表于 2012-10-11 16:44
我想将@a 排序后可适应更多列的情况：

学习了～