免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1787 | 回复: 4

LWP::UserAgent抓取问题 [复制链接]

论坛徽章:
0
发表于 2013-07-03 15:34 |显示全部楼层
http://www.haibao.com/star/明星风云榜
这个页面我通过浏览器能得到全部页面内容。通过LWP::UserAgent只返回了2500多行。
直接通过curl也是如此。有人碰到过,知道是什么原因吗?

论坛徽章:
3
摩羯座
日期:2013-09-04 12:01:36申猴
日期:2013-10-23 12:12:23CU十二周年纪念徽章
日期:2013-10-24 15:41:34
发表于 2013-07-03 16:47 |显示全部楼层
请上代码      

论坛徽章:
0
发表于 2013-07-03 17:46 |显示全部楼层
回复 2# grshrd49


    不用上代码。你curl http://www.haibao.com/star/明星风云榜/
得到的就不是全部的页面代码。跟本地的机器设置有关?

论坛徽章:
0
发表于 2013-07-31 09:06 |显示全部楼层
回复 3# bernana

没问题呀 我用getstore函数是可以取到所有内容的
   

论坛徽章:
42
19周年集字徽章-周
日期:2019-10-14 14:35:31平安夜徽章
日期:2015-12-26 00:06:30数据库技术版块每日发帖之星
日期:2015-12-01 06:20:002015亚冠之首尔
日期:2015-11-04 22:25:43IT运维版块每日发帖之星
日期:2015-08-17 06:20:00寅虎
日期:2014-06-04 16:25:27狮子座
日期:2014-05-12 11:00:00辰龙
日期:2013-12-20 17:07:19射手座
日期:2013-10-24 21:01:23CU十二周年纪念徽章
日期:2013-10-24 15:41:34IT运维版块每日发帖之星
日期:2016-01-27 06:20:0015-16赛季CBA联赛之新疆
日期:2016-06-07 14:10:01
发表于 2013-07-31 09:47 |显示全部楼层
curl和lwp只会获取首页的框架html代码,而不会去渲染页面,不包含frame,js动态加载内容
那些动态的东西都是浏览器根据首页代码另外下载和加载的
你用浏览器自带的开发者工具看看就知道了.
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时8.5折

【架构革新 高效可控】2020年8月17日~19日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP