多进程的内存问题

heut2009

代码是要实现批量的抓取网页，由于数量太多，考虑到多进程，可是运行就提示内存不能为read，该怎么写这种多进程的脚本呢？
还有采用多线程不知能否实现，本人尝试多线程时，线程执行时并没有提交cookies。

1. use LWP::UserAgent;
   
2. use HTTP::Cookies;
   
3. use LWP::ConnCache;
   
4. use strict;
   
5. my $ua=LWP::UserAgent->new;
   
6. my $cache=LWP::ConnCache->new();
   
7. $ua->conn_cache($cache);
   
8. my $user="yongchun_wsu";
   
9. my $password="trial01";
   
10. my $url="https://portal.biobase-international.com/cgi-bin/portal/login.cgi";
    
11. 
    
12. my $cookie=HTTP::Cookies->new(file=>'lwp_cookie.dat',autosave=>1,ignore_discard=>1);
    
13. $ua->cookie_jar($cookie);
    
14. 
    
15. my $res=$ua->post("$url",[login=>"$user",
    
16.                           password=>"$password"]) or die "can't login $!";
    
17. print "login successed !\n";
    
18. 
    
19. for(my $count=1;$count<10;$count++){
    
20. my $c=fork();
    
21. if($c){
    
22.         print "parent running \n";
    
23. }
    
24. else
    
25. {
    
26. &getpage();
    
27. exit 0;
    
28. }
    
29. }
    
30. 
    
31. sub getpage {
    
32. my $url1="https://portal.biobase-international.com/cgi-bin/build_t/idb/1.0/pageview.cgi?view=MatrixReport&matrix_acc=M0";
    
33. for(my $i=1;$i<1357;$i++){
    
34.     my $id=sprintf("%04d",$i);
    
35.     if(! -e "M0".$id.".html"){
    
36.     my $bro=$ua->get($url1.$id);
    
37.     if($bro->is_success){
    
38.       open(FH,">","M0".$id.".html");
    
39.       print FH $bro->content;
    
40.       print "page M0$id".".html finished\n";
    
41.       close(FH);
    
42.       
    
43.       }
    
44.       else
    
45.       {
    
46.               print "can't get page $id";
    
47.               redo;
    
48.       }
    
49.       }
    
50.     }
    
51. }
    

复制代码

wfnh

有一个帖子··可以看一下·
http://bbs.chinaunix.net/viewthread.php?tid=1722536