digest::MD5校验超大文件的问题

xp5211314

我校验10G的文件，但是内存一直上涨，直到用光， 请大家review一下我的代码。谢谢

1. 
   
2. sub md5_sum
   
3. {  
   
4. 
   
5.         my $start_time = time();
   
6.         while(my $buffer = <$fh_local_file>)
   
7.         {
   
8.                  $g_md5->add($buffer);
   
9.                  undef $buffer;
   
10.         }
    
11.         
    
12.         return $g_total_md5_sum;
    
13. }
    

复制代码

<$fh_local_file>在外面打开了的，
$g_md5->hexdigest()也在外面

churchmice

try

1. 
   
2.            use Digest::MD5;
   
3. 
   
4.            my $file = shift || "/very/very/large_file";
   
5.            open(FILE, $file) or die "Can't open '$file': $!";
   
6.            binmode(FILE);
   
7. 
   
8.            print Digest::MD5->new->addfile(*FILE)->hexdigest, " $file\n";
   
9. 
   

复制代码

xp5211314

我试试呢 先谢谢

xp5211314

还是不行啊？ 请问还有什么方式呢？
churchmice  你试试呢 谢谢了

churchmice

回复 4# xp5211314
我这边没有这么大的文件可以用于实验
不过不应该会耗用这么大内存啊，要不你另外找找别的模块
上search.cpan.org搜一下
http://search.cpan.org/~dmuey/Digest-MD5-File-0.07/File.pm

或者自己用c码一个也不复杂的

churchmice

其实直接perl里面system("md5sum","PATH_TO_FILE"),然后将结果取回好了

xp5211314

恩  主要是需求 有些特殊 不过你给的建议都不错  谢谢了

bitterness

我也有需要对大文件取MD5值的，可是效率上一直是个问题

wxlfh

1. use strict;
   
2. use warnings;
   
3. 
   
4. use Digest::MD5;
   
5. 
   
6. open my $fh,"<","F:/123/照片 088.jpg" or die "Open file error!\n";
   
7. binmode $fh;
   
8. 
   
9. my $md5 = Digest::MD5->new;
   
10. $md5->addfile($fh);
    
11. 
    
12. print $md5->hexdigest,"\n";
    
13. close $fh;

复制代码

xp5211314

问题已经解决：
贴出来让大家分析分析

1. 
   
2. while(read ($fh_local_file,my $buffer,1024))
   
3. {
   
4.                  $g_md5->add($buffer);
   
5.                  undef $buffer;
   
6.         }

复制代码

采用read的方式可以解决。 但是为什么“<>”方式不正确呢？
这一点我还在研究，大家若知道 请告知 谢谢

大文件的校验总体来说 效率的提高很难了，毕竟MD5校验的算法 已经被优化了很多次了。

不过可以从另一个方向来考虑，比如 要远程下载并校验大文件，
完全可以进行流式校验，边下载边校验的方式 比较不错

thanks all