忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 视频 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 292 | 回复: 4

perl下载保存多个网页 [复制链接]

论坛徽章:
0
发表于 2017-04-24 00:35 |显示全部楼层

各位大侠好,最近学习了perlLWP,想做一个程序保存一些网页,但是实现不了多个网页的保存,哪位帮忙做一下?万分感谢!

具体要求是

1.从sampleURL.txt里面读取网址,比如网址如下:

      www.baidu.com

      www.sina.com

      www.qq.com

      www.126.com

2 要把以上这些网页分别保存到一个文件夹,比如downloadHTML文件夹中。





论坛徽章:
0
发表于 2017-05-05 22:16 |显示全部楼层
一个网页可以,多个网页为什么不行?最最基础的,写个这样的方法,然后在循环中调用不就行了?

sub fetch_url {
   my ($url, $to_filename) = @_;
   ...
}

高级一点的话去看看Mojo::UserAgent,还可以并发。

论坛徽章:
0
发表于 2017-05-15 23:58 |显示全部楼层
回复 1# Tina0910

我去年买了一本perl & lwp,只看了一点,被其它事情一干扰,就放下了。
楼主是否可以把自己的代码贴出了,让我学习下,我要看懂了,再翻翻perl & lwp,看能否找出某种方法。

论坛徽章:
0
发表于 2017-05-16 10:40 |显示全部楼层
楼主 如果是使用Mojo之类的模块 快尝试用递归的方法来实现。
这种模块的循环中嵌套自己的小循环是经常实效的。
你可以在用类似这样的结构
sub{
  程序主体
  下载网页
   检测数组中是否还有需要下载的网址,
   如果有,继续递归这个子函数
}

论坛徽章:
0
发表于 2017-05-16 10:42 |显示全部楼层
回复 4# PN_Junction

补充一下 我遇到几个模块都是这样循环有问题,所以楼主可以参考一下
您需要登录后才可以回帖 登录 | 注册

本版积分规则

【有奖调查】AI时代如何迎接未知挑战?

人工智能一直在医疗行业扮演着重要角色,最早的专家系统和后来的基因诊断都是人工智能技术在医疗的行业探索。近年来,随着深度学习等技术的进步,人工智能在医疗行业的应用领域不断扩展,医学影像智能诊断、语音电子病历、癌症智能诊断等均已逐渐成为热门发展方向。
而作为人工智能重要推动力的深度学习技术的快速发展却亟需认知系统的强力支撑。
----------------------------------------
活动时间:2017年5月15日-6月5日

调查入口>>
  

北京皓辰网域网络信息技术有限公司. 版权所有 京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP