免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Perl › perl抓取网页问题
12下一页
最近访问板块 发新帖
查看: 5482 | 回复: 11
打印 上一主题 下一主题

perl抓取网页问题 [复制链接]

xiumu2280

论坛徽章:
8
技术图书徽章 日期:2013-09-30 08:51:28技术图书徽章 日期:2013-12-11 09:26:39白羊座 日期:2013-12-27 15:27:13金牛座 日期:2014-01-06 09:13:05天蝎座 日期:2014-01-21 14:23:28酉鸡 日期:2014-05-09 16:51:12卯兔 日期:2014-08-11 16:49:1515-16赛季CBA联赛之八一 日期:2017-08-14 23:24:57
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2013-11-19 14:47 |只看该作者 |倒序浏览
本帖最后由 xiumu2280 于 2013-11-19 14:50 编辑

如下链接[url]
  1. http://databases.lovd.nl/whole_genome/variants/ABCA13#object_id=VariantOnTranscript%2CVariantOnGenome&id=ABCA13&order=VariantOnTranscript%2FDNA%2CASC&skip[/url][chromosome]=chromosome&skip[transcriptid]=transcriptid&search_transcriptid=00046&page_size=100&page=2
复制代码
用lwp模块进行提取不同page的内容。
现在的问题是发现，这个网站在更换page=这个变量后，页面要先到第一页 然后再跳到相应页数。
所以，就算换了page变量，抓取到的永远是第一页的内容····
求解决
xiumu2280

论坛徽章:
8
技术图书徽章 日期:2013-09-30 08:51:28技术图书徽章 日期:2013-12-11 09:26:39白羊座 日期:2013-12-27 15:27:13金牛座 日期:2014-01-06 09:13:05天蝎座 日期:2014-01-21 14:23:28酉鸡 日期:2014-05-09 16:51:12卯兔 日期:2014-08-11 16:49:1515-16赛季CBA联赛之八一 日期:2017-08-14 23:24:57
2楼 [报告]
发表于 2013-11-19 15:35 |只看该作者
感觉每次除了表格那部分刷新，其他位置是不刷新的··求拯救啊···
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
xiumu2280

论坛徽章:
8
技术图书徽章 日期:2013-09-30 08:51:28技术图书徽章 日期:2013-12-11 09:26:39白羊座 日期:2013-12-27 15:27:13金牛座 日期:2014-01-06 09:13:05天蝎座 日期:2014-01-21 14:23:28酉鸡 日期:2014-05-09 16:51:12卯兔 日期:2014-08-11 16:49:1515-16赛季CBA联赛之八一 日期:2017-08-14 23:24:57
3楼 [报告]
发表于 2013-11-19 15:45 |只看该作者
我手动打开第二页 ，然后存储源码··还是第一页的内容·····
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
q1208c

论坛徽章:
33
荣誉会员 日期:2011-11-23 16:44:17天秤座 日期:2014-08-26 16:18:20天秤座 日期:2014-08-29 10:12:18丑牛 日期:2014-08-29 16:06:45丑牛 日期:2014-09-03 10:28:58射手座 日期:2014-09-03 16:01:17寅虎 日期:2014-09-11 14:24:21天蝎座 日期:2014-09-17 08:33:55IT运维版块每日发帖之星 日期:2016-04-17 06:23:27操作系统版块每日发帖之星 日期:2016-04-18 06:20:00IT运维版块每日发帖之星 日期:2016-04-24 06:20:0015-16赛季CBA联赛之天津 日期:2016-05-06 12:46:59
4楼 [报告]
发表于 2013-11-19 16:17 |只看该作者
页面根本没有更新. 每一个页面数字都有一个 onclick 属性. 其实, 就是你点一下, 它就会调用一个 js 函数是更新下面的内容.


实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
xiumu2280

论坛徽章:
8
技术图书徽章 日期:2013-09-30 08:51:28技术图书徽章 日期:2013-12-11 09:26:39白羊座 日期:2013-12-27 15:27:13金牛座 日期:2014-01-06 09:13:05天蝎座 日期:2014-01-21 14:23:28酉鸡 日期:2014-05-09 16:51:12卯兔 日期:2014-08-11 16:49:1515-16赛季CBA联赛之八一 日期:2017-08-14 23:24:57
5楼 [报告]
发表于 2013-11-19 16:22 |只看该作者
是这个意思··· 那怎么抓呢···回复 4# q1208c


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
q1208c

论坛徽章:
33
荣誉会员 日期:2011-11-23 16:44:17天秤座 日期:2014-08-26 16:18:20天秤座 日期:2014-08-29 10:12:18丑牛 日期:2014-08-29 16:06:45丑牛 日期:2014-09-03 10:28:58射手座 日期:2014-09-03 16:01:17寅虎 日期:2014-09-11 14:24:21天蝎座 日期:2014-09-17 08:33:55IT运维版块每日发帖之星 日期:2016-04-17 06:23:27操作系统版块每日发帖之星 日期:2016-04-18 06:20:00IT运维版块每日发帖之星 日期:2016-04-24 06:20:0015-16赛季CBA联赛之天津 日期:2016-05-06 12:46:59
6楼 [报告]
发表于 2013-11-19 16:28 |只看该作者
回复 5# xiumu2280

我想, 他们做成这样, 其目的之一, 也是防止爬虫吧.


大家都是同行, 我不想浪费别人的工作成果, 相信你也能理解.
   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
xiumu2280

论坛徽章:
8
技术图书徽章 日期:2013-09-30 08:51:28技术图书徽章 日期:2013-12-11 09:26:39白羊座 日期:2013-12-27 15:27:13金牛座 日期:2014-01-06 09:13:05天蝎座 日期:2014-01-21 14:23:28酉鸡 日期:2014-05-09 16:51:12卯兔 日期:2014-08-11 16:49:1515-16赛季CBA联赛之八一 日期:2017-08-14 23:24:57
7楼 [报告]
发表于 2013-11-19 16:37 |只看该作者
这是一个开放的数据库，用他们自己的工具可以下载数据。但是设置有些复杂··· 我还是看看他们那个软件怎么安装吧····回复 6# q1208c


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
xiumu2280

论坛徽章:
8
技术图书徽章 日期:2013-09-30 08:51:28技术图书徽章 日期:2013-12-11 09:26:39白羊座 日期:2013-12-27 15:27:13金牛座 日期:2014-01-06 09:13:05天蝎座 日期:2014-01-21 14:23:28酉鸡 日期:2014-05-09 16:51:12卯兔 日期:2014-08-11 16:49:1515-16赛季CBA联赛之八一 日期:2017-08-14 23:24:57
8楼 [报告]
发表于 2013-11-21 10:45 |只看该作者
最后用IE 的开发者工具解决了····
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
q1208c

论坛徽章:
33
荣誉会员 日期:2011-11-23 16:44:17天秤座 日期:2014-08-26 16:18:20天秤座 日期:2014-08-29 10:12:18丑牛 日期:2014-08-29 16:06:45丑牛 日期:2014-09-03 10:28:58射手座 日期:2014-09-03 16:01:17寅虎 日期:2014-09-11 14:24:21天蝎座 日期:2014-09-17 08:33:55IT运维版块每日发帖之星 日期:2016-04-17 06:23:27操作系统版块每日发帖之星 日期:2016-04-18 06:20:00IT运维版块每日发帖之星 日期:2016-04-24 06:20:0015-16赛季CBA联赛之天津 日期:2016-05-06 12:46:59
9楼 [报告]
发表于 2013-11-21 11:21 |只看该作者
回复 8# xiumu2280

Good !!


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
fkiori

论坛徽章:
0
10楼 [报告]
发表于 2013-11-21 18:18 |只看该作者
抓包，分析提交的数据，构造数据
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP