免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Perl › LWP::UserAgent抓取问题

最近访问板块

发新帖

查看: 2117 | 回复: 4

上一主题

下一主题

LWP::UserAgent抓取问题 [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2013-07-03 15:34 |只看该作者 |倒序浏览

http://www.haibao.com/star/明星风云榜
这个页面我通过浏览器能得到全部页面内容。通过LWP::UserAgent只返回了2500多行。
直接通过curl也是如此。有人碰到过，知道是什么原因吗？

文库|博客

论坛徽章:: 3

摩羯座
日期:2013-09-04 12:01:36

申猴
日期:2013-10-23 12:12:23

CU十二周年纪念徽章
日期:2013-10-24 15:41:34

2楼 [报告]

发表于 2013-07-03 16:47 |只看该作者

请上代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2013-07-03 17:46 |只看该作者

回复 2# grshrd49

不用上代码。你curl http://www.haibao.com/star/明星风云榜/
得到的就不是全部的页面代码。跟本地的机器设置有关？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2013-07-31 09:06 |只看该作者

回复 3# bernana

没问题呀我用getstore函数是可以取到所有内容的

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 42

19周年集字徽章-周
日期:2019-10-14 14:35:31

平安夜徽章
日期:2015-12-26 00:06:30

数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00

2015亚冠之首尔
日期:2015-11-04 22:25:43

IT运维版块每日发帖之星
日期:2015-08-17 06:20:00

寅虎
日期:2014-06-04 16:25:27

狮子座
日期:2014-05-12 11:00:00

辰龙
日期:2013-12-20 17:07:19

射手座
日期:2013-10-24 21:01:23

CU十二周年纪念徽章
日期:2013-10-24 15:41:34

IT运维版块每日发帖之星
日期:2016-01-27 06:20:00

15-16赛季CBA联赛之新疆
日期:2016-06-07 14:10:01

5楼 [报告]

发表于 2013-07-31 09:47 |只看该作者

curl和lwp只会获取首页的框架html代码,而不会去渲染页面,不包含frame,js动态加载内容
那些动态的东西都是浏览器根据首页代码另外下载和加载的
你用浏览器自带的开发者工具看看就知道了.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Perl › LWP::UserAgent抓取问题

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP