Chinaunix

标题: perl下载保存多个网页 [打印本页]

作者: Tina0910 时间: 2017-04-24 00:35
标题: perl下载保存多个网页

各位大侠好，最近学习了perl的LWP，想做一个程序保存一些网页，但是实现不了多个网页的保存，哪位帮忙做一下？万分感谢！

具体要求是

1．从sampleURL.txt里面读取网址，比如网址如下：

www.baidu.com

www.sina.com

www.qq.com

www.126.com

2．要把以上这些网页分别保存到一个文件夹，比如downloadHTML文件夹中。

作者: zhouzhen1 时间: 2017-05-05 22:16
一个网页可以，多个网页为什么不行？最最基础的，写个这样的方法，然后在循环中调用不就行了？

sub fetch_url {
my ($url, $to_filename) = @_;
...
}

高级一点的话去看看Mojo::UserAgent，还可以并发。

作者: hztj2005 时间: 2017-05-15 23:58
回复 1# Tina0910

我去年买了一本perl & lwp，只看了一点，被其它事情一干扰，就放下了。
楼主是否可以把自己的代码贴出了，让我学习下，我要看懂了，再翻翻perl & lwp，看能否找出某种方法。

作者: PN_Junction 时间: 2017-05-16 10:40
楼主如果是使用Mojo之类的模块快尝试用递归的方法来实现。
这种模块的循环中嵌套自己的小循环是经常实效的。
你可以在用类似这样的结构
sub{
程序主体
下载网页
检测数组中是否还有需要下载的网址，
如果有，继续递归这个子函数
}

作者: PN_Junction 时间: 2017-05-16 10:42
回复 4# PN_Junction

补充一下我遇到几个模块都是这样循环有问题，所以楼主可以参考一下

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)