hash中找出重复的值

andylei

有一些文件数据以hash的格式存储，如下：
1=> 'abc'
2=> 'eee'
3=> 'abc'
4=> 'ddd'
5=> 'lkdiep'
6=> 'bki'
7=> 'ddd'
。。。
。。。
。。。

想取出重复的如: 4=> 'ddd' 和 7=> 'ddd'的键值。想请教各位高手用什么办法可以操作快一点，因为文件比较大。


谢谢了！

[ 本帖最后由 andylei 于 2009-2-23 13:20 编辑 ]

DQP

文件有多大
一般是排序然后比较相邻的行
或者以现在的value为key建立hash

MMMIX

扫描一遍文件，把 => 后面的作为 key，前面的做 value 构造 hash

MMMIX

原帖由 DQP 于 2009-2-23 13:58 发表
文件有多大
一般是排序然后比较相邻的行

这也是个方法。先用 sort 处理下。

andylei

谢谢大家的回复。

我自己想了个方法，刚刚试验过蛮快的。想法如下：

构造好hash后，
1) 使用grep 先将所有出现过一次以上的值都存入一个列表。

   my %count= ();
    my @crops = values %diffHash_1;
    my @duplicates = grep { ++$count{$_} > 1} @crops;

    print "@duplicates\n";

2）使用循环比较@duplicates 和hash里的值有出现2次及以上的就取出hash的键值。

测试了一下，3.1M（164900行数据）的文件用了3分多钟，在接受的范围内了。

如果哪位高手有更好的方法，请贴出来参考一下，万分感谢。

DQP

解决问题就是好的
看上去你的第一个hash是
不过你的%diffHash_1是以 =>前面为key 后面为value构建的
这个hash实际上并没有起到什么作用。
只用过一次 就是把其中的values全取出来。
有些浪费了。

andylei

谢谢你的点评，是我没有描述清楚，因为在之前的需要做其他的工作所以才会有第一个diffHash_1的hash结构。

谢谢

DQP

原来是这样啊
那个grep写得很有意思 我也拿去用用 谢谢

ulmer

@andylei
>构造好hash后，
>1) 使用grep 先将所有出现过一次以上的值都存入一个列表。
> my %count= ();
> my @crops = values %diffHash ...

you can put those keys with duplicated values directly in to @duplicates:
%count = ();
@duplicates = grep {++$count{$hash{$_}} > 1 } keys %hash;

yuan_point

#! /usr/bin/perl -w use strict; my $reg = qr/=>/; my @tmp = (); my %hash = (); my %dup = (); open SRC, "<result.txt" or die "can not open file $!\n"; while(<SRC>){     chomp;     @tmp = split $reg;     if(not defined $hash{$tmp[1]}){         $hash{$tmp[1]} = $tmp[0];     }     else{         if(not defined $dup{$tmp[1]}){             $dup{$tmp[1]} = join ",", $hash{$tmp[1]}, $tmp[0];         }         else{             $dup{$tmp[1]} = join ",", $dup{$tmp[1]}, $tmp[0];         }     } } foreach (keys %dup) {     print join "=>$_\n", split(",", $dup{$_}), "\n"; } close SRC;

我写的，请各位高手指正