忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 450 | 回复: 4

perl下载保存多个网页 [复制链接]

论坛徽章:
0
发表于 2017-04-24 00:35 |显示全部楼层

各位大侠好,最近学习了perlLWP,想做一个程序保存一些网页,但是实现不了多个网页的保存,哪位帮忙做一下?万分感谢!

具体要求是

1.从sampleURL.txt里面读取网址,比如网址如下:

      www.baidu.com

      www.sina.com

      www.qq.com

      www.126.com

2 要把以上这些网页分别保存到一个文件夹,比如downloadHTML文件夹中。





论坛徽章:
0
发表于 2017-05-05 22:16 |显示全部楼层
一个网页可以,多个网页为什么不行?最最基础的,写个这样的方法,然后在循环中调用不就行了?

sub fetch_url {
   my ($url, $to_filename) = @_;
   ...
}

高级一点的话去看看Mojo::UserAgent,还可以并发。

论坛徽章:
0
发表于 2017-05-15 23:58 |显示全部楼层
回复 1# Tina0910

我去年买了一本perl & lwp,只看了一点,被其它事情一干扰,就放下了。
楼主是否可以把自己的代码贴出了,让我学习下,我要看懂了,再翻翻perl & lwp,看能否找出某种方法。

论坛徽章:
0
发表于 2017-05-16 10:40 |显示全部楼层
楼主 如果是使用Mojo之类的模块 快尝试用递归的方法来实现。
这种模块的循环中嵌套自己的小循环是经常实效的。
你可以在用类似这样的结构
sub{
  程序主体
  下载网页
   检测数组中是否还有需要下载的网址,
   如果有,继续递归这个子函数
}

论坛徽章:
0
发表于 2017-05-16 10:42 |显示全部楼层
回复 4# PN_Junction

补充一下 我遇到几个模块都是这样循环有问题,所以楼主可以参考一下
您需要登录后才可以回帖 登录 | 注册

本版积分规则

SACC2017购票8.8折优惠进行时

2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。今年,大会以“云智未来”为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置2大主会场,18个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100余位技术专家及行业领袖来分享他们的经验;并将吸引4000+人次的系统运维、架构师及IT决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年8月2日前

活动链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP