免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Perl › 如何抓取一个https的页面？
最近访问板块 发新帖
查看: 5056 | 回复: 6
打印 上一主题 下一主题

如何抓取一个https的页面？ [复制链接]

huang6894

论坛徽章:
8
技术图书徽章 日期:2013-08-22 11:21:28未羊 日期:2015-01-19 22:22:25巳蛇 日期:2014-08-11 16:53:08子鼠 日期:2014-05-29 09:04:44摩羯座 日期:2014-04-11 14:15:07丑牛 日期:2014-01-24 12:41:28金牛座 日期:2013-11-21 17:38:28射手座 日期:2015-01-21 08:50:32
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2014-10-17 10:43 |只看该作者 |倒序浏览
不知道大家有没有好的建议。我想抓取一下：https://decipher.sanger.ac.uk/syndrome/2#phenotype这个页面的如图部分的三个信息，可是使用LWP一直抓取不了，浏览器读取的源代码也不行，可是浏览器的“审阅元素”是可以的，求助各位大神帮忙提供一个建议！！！
非常感谢，非常感谢！
laputa73

论坛徽章:
42
19周年集字徽章-周 日期:2019-10-14 14:35:31平安夜徽章 日期:2015-12-26 00:06:30数据库技术版块每日发帖之星 日期:2015-12-01 06:20:002015亚冠之首尔 日期:2015-11-04 22:25:43IT运维版块每日发帖之星 日期:2015-08-17 06:20:00寅虎 日期:2014-06-04 16:25:27狮子座 日期:2014-05-12 11:00:00辰龙 日期:2013-12-20 17:07:19射手座 日期:2013-10-24 21:01:23CU十二周年纪念徽章 日期:2013-10-24 15:41:34IT运维版块每日发帖之星 日期:2016-01-27 06:20:0015-16赛季CBA联赛之新疆 日期:2016-06-07 14:10:01
2楼 [报告]
发表于 2014-10-17 21:20 |只看该作者
这个可能是js动态加载的内容
用phantomjs试试
单纯lwp或者curl不能解析js的。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
huang6894

论坛徽章:
8
技术图书徽章 日期:2013-08-22 11:21:28未羊 日期:2015-01-19 22:22:25巳蛇 日期:2014-08-11 16:53:08子鼠 日期:2014-05-29 09:04:44摩羯座 日期:2014-04-11 14:15:07丑牛 日期:2014-01-24 12:41:28金牛座 日期:2013-11-21 17:38:28射手座 日期:2015-01-21 08:50:32
3楼 [报告]
发表于 2014-10-17 22:39 |只看该作者
回复 2# laputa73


    {:2_169:} 好吧，又有新东西了。。。谢谢大神
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
huang6894

论坛徽章:
8
技术图书徽章 日期:2013-08-22 11:21:28未羊 日期:2015-01-19 22:22:25巳蛇 日期:2014-08-11 16:53:08子鼠 日期:2014-05-29 09:04:44摩羯座 日期:2014-04-11 14:15:07丑牛 日期:2014-01-24 12:41:28金牛座 日期:2013-11-21 17:38:28射手座 日期:2015-01-21 08:50:32
4楼 [报告]
发表于 2014-10-20 13:37 |只看该作者
已用perl解决，谢谢
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
lpnueg4

论坛徽章:
0
5楼 [报告]
发表于 2014-10-21 16:54 |只看该作者
回复 4# huang6894


    怎么解决的？麻烦提供下方法，参考下。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
huang6894

论坛徽章:
8
技术图书徽章 日期:2013-08-22 11:21:28未羊 日期:2015-01-19 22:22:25巳蛇 日期:2014-08-11 16:53:08子鼠 日期:2014-05-29 09:04:44摩羯座 日期:2014-04-11 14:15:07丑牛 日期:2014-01-24 12:41:28金牛座 日期:2013-11-21 17:38:28射手座 日期:2015-01-21 08:50:32
6楼 [报告]
发表于 2014-10-21 17:05 |只看该作者
回复 5# lpnueg4


    如果是想抓取一个ajax页面实现页面无更新异步传输，python的scapy可以提供一个极好的参考，如果你只是像我一样无法通过简单的LWP去获取html源代码，不妨参考一下：
http://search.cpan.org/~mschilli ... P/Protocol/https.pm这个针对https页面的包，又或者改一下思路，http://bbs.chinaunix.net/forum.p ... mp;fromuid=29097174
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
lpnueg4

论坛徽章:
0
7楼 [报告]
发表于 2014-10-21 17:39 |只看该作者
回复 6# huang6894


    谢谢，我研究下！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP