免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2301 | 回复: 1

多进程的内存问题 [复制链接]

论坛徽章:
0
发表于 2010-08-29 12:30 |显示全部楼层
代码是要实现批量的抓取网页,由于数量太多,考虑到多进程,可是运行就提示内存不能为read,该怎么写这种多进程的脚本呢?
还有采用多线程不知能否实现,本人尝试多线程时,线程执行时并没有提交cookies。
  1. use LWP::UserAgent;
  2. use HTTP::Cookies;
  3. use LWP::ConnCache;
  4. use strict;
  5. my $ua=LWP::UserAgent->new;
  6. my $cache=LWP::ConnCache->new();
  7. $ua->conn_cache($cache);
  8. my $user="yongchun_wsu";
  9. my $password="trial01";
  10. my $url="https://portal.biobase-international.com/cgi-bin/portal/login.cgi";

  11. my $cookie=HTTP::Cookies->new(file=>'lwp_cookie.dat',autosave=>1,ignore_discard=>1);
  12. $ua->cookie_jar($cookie);

  13. my $res=$ua->post("$url",[login=>"$user",
  14.                           password=>"$password"]) or die "can't login $!";
  15. print "login successed !\n";

  16. for(my $count=1;$count<10;$count++){
  17. my $c=fork();
  18. if($c){
  19.         print "parent running \n";
  20. }
  21. else
  22. {
  23. &getpage();
  24. exit 0;
  25. }
  26. }

  27. sub getpage {
  28. my $url1="https://portal.biobase-international.com/cgi-bin/build_t/idb/1.0/pageview.cgi?view=MatrixReport&matrix_acc=M0";
  29. for(my $i=1;$i<1357;$i++){
  30.     my $id=sprintf("%04d",$i);
  31.     if(! -e "M0".$id.".html"){
  32.     my $bro=$ua->get($url1.$id);
  33.     if($bro->is_success){
  34.       open(FH,">","M0".$id.".html");
  35.       print FH $bro->content;
  36.       print "page M0$id".".html finished\n";
  37.       close(FH);
  38.       
  39.       }
  40.       else
  41.       {
  42.               print "can't get page $id";
  43.               redo;
  44.       }
  45.       }
  46.     }
  47. }
复制代码

论坛徽章:
0
发表于 2010-08-29 13:18 |显示全部楼层
有一个帖子··可以看一下·
http://bbs.chinaunix.net/viewthread.php?tid=1722536
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP