如何对100百万行的字符串得到唯一字符串及计数?

wxlfh

最好能提供10多兆字节的样本数据，wxlfh@qq.com

wxlfh

随手写了个，不知道对楼主有没有帮助，呵呵。

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. open my $in, "<", "Logfile.log" or die "Open Logfile.log error.\n";
   
6. open my $out,">", "Logfile.out" or die "Create file error.\n";
   
7. 
   
8. my %hash;
   
9. while (<$in>) {
   
10.     $id = (split /\t/)[5];  #第6列是ID
    
11.     $hash{$id}++;
    
12. }
    
13. 
    
14. while (my ($key,$value)= each %hash) {
    
15.     print $out "$key\t$value\n";
    
16. }
    
17. 
    
18. print "There are ",scalar keys %hash," IDs.\n";
    
19. 
    
20. close $in;
    
21. close $out;

复制代码

2gua

hash是经过优化的，可以试试看啊。

兰花仙子

随手写了个，不知道对楼主有没有帮助，呵呵。
wxlfh 发表于 2010-11-17 10:47

    友情提示下：split比regex慢很多。

wxlfh

友情提示下：split比regex慢很多。
兰花仙子 发表于 2010-11-17 15:28

    是吗？受教了。

yisn

谢谢各位大展雄风~ 俺先试试看再来反馈.

上面的日志文件是随便说的. 然后发现其实我的字符串是有1000百万而不是100百万,内牛满面...

文件是一行行atcg的字符串,类似
cagggcagaaccttgtactgcacctgcagtgcagagcaaacacagaagtcttctttggtaaaggaaccagactcacagttgtag
cagggcagaaccttgtactgcacctgcagtgcagagccaaacacagaagtcttctttggtaaaggaaccagactcacagttgtag
cagggcagaaccttgtactgcacctgcagtgcagaggccaaacacagaagtcttctttggtaaaggaaccagactcacagttgtag
cagggcagaaccttgtactgcacctgcagtgcagaggccaaacacagaagtcttctttggtaaaggaaccagactcacagttgtag
cagggcagaaccttgtactgcacctgcagtgcagagggccaaacacagaagtcttctttggtaaaggaaccagactcacagttgtag
cagggcagaaccttgtactgcacctgcagtgcagaggggccaaacacagaagtcttctttggtaaaggaaccagactcacagttgtag
...

字符串的重复度也不是很多,但是必须把相同的组合起来并计数.
比如90G的文件,组合后剩60G这样.

hitsubunnu

请改用 天河一号超级计算机

zhlong8

楼上抢我台词……

jason680

谢谢各位大展雄风~ 俺先试试看再来反馈.

上面的日志文件是随便说的. 然后发现其实我的字符串是有1000百万 ...
yisn 发表于 2010-11-19 10:01

Mastering Perl for Bioinformatics
http://oreilly.com/catalog/mperlbio/chapter/ch09.pdf

http://www.bioperl.org/wiki/Getting_Started

工欲善其事，必先利其器

Pro_sky

用hash呗,内存不够就用外存