免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Perl › 抓取网页
最近访问板块 发新帖
查看: 1704 | 回复: 7
打印 上一主题 下一主题

抓取网页 [复制链接]

ssg502

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2013-01-22 14:13 |只看该作者 |倒序浏览
本帖最后由 ssg502 于 2013-01-22 14:14 编辑

怎么抓取javascript动态生成的网页
zhlong8

论坛徽章:
46
15-16赛季CBA联赛之四川 日期:2018-03-27 11:59:132015年亚洲杯之沙特阿拉伯 日期:2015-04-11 17:31:45天蝎座 日期:2015-03-25 16:56:49双鱼座 日期:2015-03-25 16:56:30摩羯座 日期:2015-03-25 16:56:09巳蛇 日期:2015-03-25 16:55:30卯兔 日期:2015-03-25 16:54:29子鼠 日期:2015-03-25 16:53:59申猴 日期:2015-03-25 16:53:29寅虎 日期:2015-03-25 16:52:29羊年新春福章 日期:2015-03-25 16:51:212015亚冠之布里斯班狮吼 日期:2015-07-13 10:44:56
2楼 [报告]
发表于 2013-01-22 14:35 |只看该作者
想要什么就自己看代码直接抓吧
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ssg502

论坛徽章:
0
3楼 [报告]
发表于 2013-01-22 14:45 |只看该作者
回复 2# zhlong8
关键获得的html源码没有javascript生成的那部分


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zhlong8

论坛徽章:
46
15-16赛季CBA联赛之四川 日期:2018-03-27 11:59:132015年亚洲杯之沙特阿拉伯 日期:2015-04-11 17:31:45天蝎座 日期:2015-03-25 16:56:49双鱼座 日期:2015-03-25 16:56:30摩羯座 日期:2015-03-25 16:56:09巳蛇 日期:2015-03-25 16:55:30卯兔 日期:2015-03-25 16:54:29子鼠 日期:2015-03-25 16:53:59申猴 日期:2015-03-25 16:53:29寅虎 日期:2015-03-25 16:52:29羊年新春福章 日期:2015-03-25 16:51:212015亚冠之布里斯班狮吼 日期:2015-07-13 10:44:56
4楼 [报告]
发表于 2013-01-22 15:01 |只看该作者
回复 3# ssg502


    就是看 javascript 代码看你需要的数据是怎么生成的，不懂 javascript 那就歇菜了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
laputa73

论坛徽章:
42
19周年集字徽章-周 日期:2019-10-14 14:35:31平安夜徽章 日期:2015-12-26 00:06:30数据库技术版块每日发帖之星 日期:2015-12-01 06:20:002015亚冠之首尔 日期:2015-11-04 22:25:43IT运维版块每日发帖之星 日期:2015-08-17 06:20:00寅虎 日期:2014-06-04 16:25:27狮子座 日期:2014-05-12 11:00:00辰龙 日期:2013-12-20 17:07:19射手座 日期:2013-10-24 21:01:23CU十二周年纪念徽章 日期:2013-10-24 15:41:34IT运维版块每日发帖之星 日期:2016-01-27 06:20:0015-16赛季CBA联赛之新疆 日期:2016-06-07 14:10:01
5楼 [报告]
发表于 2013-01-22 16:32 |只看该作者
1.可以用ie控件,然后取innerHTML(通用),限windows平台
2.手工分析js,抓取特定的页面
3.nodejs+zombie 这个是我计划研究的方向
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
mcshell

论坛徽章:
3
CU十二周年纪念徽章 日期:2013-10-24 15:41:34子鼠 日期:2013-12-14 14:57:19射手座 日期:2014-04-25 21:23:23
6楼 [报告]
发表于 2013-01-22 16:37 |只看该作者
个人觉得Test::WWW::Selenium ，可以模拟浏览器操作
尤其是对返回 frame 类型 抓取数据
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
laputa73

论坛徽章:
42
19周年集字徽章-周 日期:2019-10-14 14:35:31平安夜徽章 日期:2015-12-26 00:06:30数据库技术版块每日发帖之星 日期:2015-12-01 06:20:002015亚冠之首尔 日期:2015-11-04 22:25:43IT运维版块每日发帖之星 日期:2015-08-17 06:20:00寅虎 日期:2014-06-04 16:25:27狮子座 日期:2014-05-12 11:00:00辰龙 日期:2013-12-20 17:07:19射手座 日期:2013-10-24 21:01:23CU十二周年纪念徽章 日期:2013-10-24 15:41:34IT运维版块每日发帖之星 日期:2016-01-27 06:20:0015-16赛季CBA联赛之新疆 日期:2016-06-07 14:10:01
7楼 [报告]
发表于 2013-01-22 18:33 |只看该作者
回复 6# mcshell


    这个模块不错,不过需要安装一个server,
   用来抓网页估计够用了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
mcshell

论坛徽章:
3
CU十二周年纪念徽章 日期:2013-10-24 15:41:34子鼠 日期:2013-12-14 14:57:19射手座 日期:2014-04-25 21:23:23
8楼 [报告]
发表于 2013-01-22 19:27 |只看该作者
回复 7# laputa73

嗯 对的。。搭配火狐的selenium  ide 插件，效果更好
  用来登陆不太麻烦的验证码登陆无压力{:3_199:}
   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP