免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2936 | 回复: 4
打印 上一主题 下一主题

LWP::UserAgent获取网页头信息报out of memory,求指导 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2014-12-18 14:56 |只看该作者 |倒序浏览
my $ua = new LWP::UserAgent;
my $url="xxx";  #这个是一个URL,发帖提示不能写URL链接,这里用XXX代替
my $res = $ua->request(new HTTP::Request(GET=>$url));
my $tmp_name=($res->header_field_names)[8];
my $filename=$res->header($tmp_name);
print $filename,"\n";

批量处理读取URL的头信息,前面处理URL的文件比较小的时候都能正常读取,后面到某个URL的文件大小超过500M就会报out of memory,
我只是想获取头信息的文件名,怎么感觉header是把这个文件临时存储下来才能读取??

是不是有更好的实现方式?求高手指导,万分感谢,在线等!!!

上面贴的这个是我单独读取那个URL文件比较大的,能够正常打印,批量处理的时候前面URL的文件小的打印正常,每次都在这个超过500M的报out of memory。。

论坛徽章:
0
2 [报告]
发表于 2014-12-18 16:27 |只看该作者
求高手指导,谢谢!

论坛徽章:
0
3 [报告]
发表于 2014-12-18 17:55 |只看该作者
在线等指导

论坛徽章:
1
2015年辞旧岁徽章
日期:2015-03-03 16:54:15
4 [报告]
发表于 2014-12-19 11:30 |只看该作者

论坛徽章:
0
5 [报告]
发表于 2014-12-27 17:15 |只看该作者
my $res = $ua->request(new HTTP::Request(GET=>$url));  修改为 my $res = $ua->request(new HTTP::Request(HEAD=>$url));
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP