如何对100百万行的字符串得到唯一字符串及计数?

yisn

我有100百万行的字符串,约150的长度, 里面有一些是重复的字符串
现在想得到最终的去除重复后的字符串及每个字符串出现的次数. perl中有什么快速的算法吗?
google了下面的方法,不过速度也不快.
http://www.experts-exchange.com/ ... ous/Q_22722019.html

下面是对50百万行的日志进行计数:
open(F,"logfile.log");
open(TMP,">temp.log");
while (<F>) {
  @data = split(/\t/,$_);   # logfile is tab-separated
  print TMP $data[5]."\n";     # ID is in the 6th column
}
close(F);
close(TMP);

$unique = `sort temp.log | uniq | wc -l`;
print "There are ".$unique." user ID's in the log file";

兰花仙子

100W行不算太大，可以用hash.
如果觉得太大，那就用数据库，然后group by。

兰花仙子

在本版又是`sort`又是`uniq`的，我perl雄风何在？

$ cat 1.txt
iii sfsdf sfdsf kkk 123 abc 456
iii isfsf fdsfe kkk 123 xyz 456
xxx xcfxs 23424 kkk 123 xyz 999
xxx xcfxs jljlj kkk 123 abc 999
zzz xcfxs xcvxv kkk 123 def 333
sdf xcfxs 23424 kkk 123 sdk 333
zzz xcfxs 08008 kkk 123 sdk 993

$ cat t1.pl
use strict;

my %hash;
open my $fd,"1.txt" or die $!;
while(<$fd>) {
    next unless /^(\S+\s+){5}(\S+)/;
    $hash{$2} ++;
}
close $fd;

print scalar keys %hash;

兰花仙子

再差也要整个ruby实现~~

1. 
   
2. hash = Hash.new(0)
   
3. 
   
4. File.open("1.txt").each do |c|
   
5.    hash[$2] +=1 if c =~ /^(\S+\s+){5}(\S+)/
   
6. end
   
7. 
   
8. puts hash.keys.size

复制代码

x9x9

在本版又是`sort`又是`uniq`的，我perl雄风何在？
兰花仙子 发表于 2010-11-16 20:34

    仙子好凶峰，ruby看不懂~

wxlfh

我有100百万行的字符串,约150的长度, 里面有一些是重复的字符串
现在想得到最终的去除重复后的字符串及每个 ...
yisn 发表于 2010-11-16 19:44

    注意，楼主是100百万行，也就是上亿条的数量级。

orz_wohencai

回复 6# wxlfh


   其实看是看文件，要是重复的多的话，内存也不会太大吧

x9x9

如果日志实在太大，是不可以考虑把它分割成两三份，然后逐个读入hash，之后再对分别输出的文档再hash一次？
可能这方法有点笨，但效率应该能提高吧~

zhlong8

md5应该没150那么长吧

胡乱联想下

iamlimeng

我perl雄风何在？