perl 大文件分析

wsxedcer

先切割成N个小文件，然后数量全部汇总在计算前1000，不然很可能会失真

kofpet

感谢各位的支持，在外出差中。。。

wxlfh

回复 1# kofpet

1. #如果能预计到日志文件中所有可能的url不超过100万个
   
2. use strict;
   
3. 
   
4. open my $log, "<", "your_log_file" or die $!;
   
5. my ( %log );
   
6. while ( <$log> ) {
   
7.     chomp;
   
8.     my $url = farse_url( $_ );
   
9.     next unless $url;
   
10.     $log{$url}++;
    
11. }
    
12. close $log;
    
13. 
    
14. my $i;
    
15. for my $key ( (sort { $log{$b}<=>$log{$a} } keys %log)[0..999] ) {
    
16.     print "$key => $log{$key}\n";
    
17. }
    
18. 
    
19. sub farse_url {
    
20.     my $line = shift;
    
21.     .
    
22.     .   # farse your url and return
    
23.     .
    
24.     return $url;
    
25. }

复制代码

jorneyR

这个是很典型的在一组数中求K个最大的数的算法。
1. 如果这些URL以后需要用，可以把日志里的URL全提出来放到一个文件里
2. 解析这些文件，可以按行读。也可以读取一个缓冲，如一次性读取几M，再按行读，需要处理断行的地方
3. 就是创建一个1000个元素的小顶堆，如遇到比堆顶大的元素，则替换堆顶元素，然则调整堆，保证其仍然是小顶堆

这种做法，与日志文件大小无关，需要的内存都是大小固定的。

wxlfh

回复 14# jorneyR


    关键是要统计每个url的点击次数，这个怎么解决？

ecjtubaowp

的确，处理这样的问题，想想可行的算法才是王道。

wxlfh

回复 1# kofpet

1. #如果600G文件中可能的url实在太多，以致根本不能放入内存中，那就来个不精确的排序
   
2. #按行读取，超过500000个url，则把前2000名写入文件；然后再重复
   
3. #最后在文件中统计，并输出前1000名
   
4. use strict;
   
5. 
   
6. open my $log, "<" , "your_log_file" or die $!;
   
7. open my $fh , ">+", "LOG_HASH.txt"  or die $!;
   
8. 
   
9. my ( %log,$max_key,$check,$i );
   
10. $max_key = 50_0000;
    
11. $check   =  1_0000;
    
12. $limit   = 1999;
    
13. 
    
14. while ( <$log> ) {
    
15.     chomp;
    
16.     my $url = farse_url( $_ );
    
17.     next unless $url;
    
18.     $i++;
    
19.     $log{$url}++;
    
20.     unless ( $i % $check ) {    # 每找到10000个url检查一次
    
21.         my $keys = keys %log;
    
22.         if ( $keys > $max_key ) { # 超过500000个url就把前2000名写入文件
    
23.             write_file( [(sort { $log{$b}<=>$log{$a} } keys %log)[0..$limit]] );
    
24.             %log = ( );
    
25.         }
    
26.         $i = 0;
    
27.     }
    
28. }
    
29. write_file( [(sort { $log{$b}<=>$log{$a} } keys %log)[0..$limit]] );    # 最后不足500000个的，也把前2000名写入文件
    
30. close $fh;
    
31. %log = ( );
    
32. 
    
33. open $log, "<", "LOG_HASH.txt" or die $!;
    
34. while ( <$log> ) {
    
35.     chomp;
    
36.     $log{$1} += $2 if /^(\S+)\s=\s(\d+)/;
    
37. }
    
38. close $log;
    
39. 
    
40. for ( (sort {$log{$b}<=>$log{$a}} keys %log)[0..999] ) {
    
41.     print "$_ => $log{$_}\n";   # 打印前1000名url
    
42. }
    
43. 
    
44. sub farse_url {
    
45.     my $line = shift;
    
46.     .
    
47.     .   # farse your url and return
    
48.     .
    
49.     return $url;
    
50. }
    
51. 
    
52. sub write_file {
    
53.     my $keys = shift;
    
54.     print $fh "$_ = $log{$_}\n" for @{$keys};
    
55. }

复制代码

cdtits

日志一般很少跨行的吧，这样就可以考虑逐行处理

jorneyR

wxlfh 发表于 2012-11-03 08:58
回复 14# jorneyR

可以先把URL提出来放到一个文件里，使用文件排序，然后统计出每一个URL的点击次数，再求点击次数最多的1000个URL
^_^，最偷懒的办法，用数据库处理查询

zjpixyniannian

。。。。我忽然想到这是不是hadoop的典型案例？