论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2015-11-10 22:35 |只看该作者 |倒序浏览

初次用LWP抓网页内容，
use LWP::Simple;
$content = get("$http_path");
print "$content";
为什么有些网站可抓，有些抓出的是空的
<head><title>403 Forbidden</title></head>

有人遇到过这样的问题吗？像这样的网站要怎样才能抓到？谢了

网页

文库|博客

laputa73

巨富豪门

论坛徽章:: 42

2楼 [报告]

发表于 2015-11-10 22:45 |只看该作者

403啊，你先直接浏览器访问看看，f12把head记下来
然后改agent

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

abcgac

白手起家

论坛徽章:: 0

3楼 [报告]

发表于 2015-11-10 22:55 |只看该作者

hi laputa73:
我看到的是如下信息，应该如何改agent呢？

Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
Accept-Encoding:gzip, deflate, sdch
Accept-Language:zh-CN,zh;q=0.8
Cache-Control:max-age=0
Connection:keep-alive
Cookie:route=72e885212bf9371aa31a8a8323acd601; _5t_trace_sid=d51e996def8be7fbc993d55e951809d5; _5t_trace_tms=1; CB7014E8AFCEC167B6DB43C2EAD9E7AD=4CB9A532F63D7E23D7C96131C53EC2A1; __utmt=1; __utma=245793219.1639907668.1431007770.1447113028.1447161032.164; __utmb=245793219.13.10.1447161032; __utmc=245793219; __utmz=245793219.1431007770.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none)

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

abcgac

白手起家

论坛徽章:: 0

4楼 [报告]

发表于 2015-11-11 00:20 |只看该作者

用 agent 加上headers就可以了，谢谢 laputa73

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › 程序设计 › Perl › 关于LWP 抓取网页

关于LWP 抓取网页 [复制链接]

浏览过的版块