免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1967 | 回复: 4

perl下载保存多个网页 [复制链接]

论坛徽章:
0
发表于 2017-04-24 00:35 |显示全部楼层

各位大侠好,最近学习了perlLWP,想做一个程序保存一些网页,但是实现不了多个网页的保存,哪位帮忙做一下?万分感谢!

具体要求是

1.从sampleURL.txt里面读取网址,比如网址如下:

      www.baidu.com

      www.sina.com

      www.qq.com

      www.126.com

2 要把以上这些网页分别保存到一个文件夹,比如downloadHTML文件夹中。





论坛徽章:
0
发表于 2017-05-05 22:16 |显示全部楼层
一个网页可以,多个网页为什么不行?最最基础的,写个这样的方法,然后在循环中调用不就行了?

sub fetch_url {
   my ($url, $to_filename) = @_;
   ...
}

高级一点的话去看看Mojo::UserAgent,还可以并发。

论坛徽章:
0
发表于 2017-05-15 23:58 |显示全部楼层
回复 1# Tina0910

我去年买了一本perl & lwp,只看了一点,被其它事情一干扰,就放下了。
楼主是否可以把自己的代码贴出了,让我学习下,我要看懂了,再翻翻perl & lwp,看能否找出某种方法。

论坛徽章:
0
发表于 2017-05-16 10:40 |显示全部楼层
楼主 如果是使用Mojo之类的模块 快尝试用递归的方法来实现。
这种模块的循环中嵌套自己的小循环是经常实效的。
你可以在用类似这样的结构
sub{
  程序主体
  下载网页
   检测数组中是否还有需要下载的网址,
   如果有,继续递归这个子函数
}

论坛徽章:
0
发表于 2017-05-16 10:42 |显示全部楼层
回复 4# PN_Junction

补充一下 我遇到几个模块都是这样循环有问题,所以楼主可以参考一下
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP