
平台论坛博客文库

› 论坛 › 程序设计 › Perl › Perl怎么抓取一个网页的所有URL

Perl怎么抓取一个网页的所有URL [复制链接]

饭饭

丰衣足食

论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2009-05-21 12:29 |只看该作者 |倒序浏览

记得以前写过一个Demo,好久不用perl,忘记丢哪了 ..

#!/usr/bin/perl

use strict;
use warnings;
use LWP;

my $url="http://www.baidu.com";

my $browser=LWP::UserAgent->new;
my $new_agent='Mozilla/5.0';
$browser->agent($new_agent);

my $response=$browser->get($url);
print $response->content;

好像有个叫啥 Links的模块, 好像是这名字, 可以直接获取到 $response->content 中的所有URL 链接.. 问下是哪个模块..

文库|博客

DQP

富足长乐

论坛徽章:: 0

2楼 [报告]

发表于 2009-05-21 12:40 |只看该作者

HTML::LinkExtractor

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › 程序设计 › Perl › Perl怎么抓取一个网页的所有URL