网页抓取问题

huang6894

不知道大家有没有好的建议。我想抓取一下：https://decipher.sanger.ac.uk/syndrome/2#phenotype这个页面的如图部分的三个信息，可是使用perl和wget一直抓取不了，浏览器读取的源代码也不行，可是浏览器的“审阅元素”是可以的，求助各位大神帮忙提供一个建议！！！
非常感谢，非常感谢！

李满满

学生党:飘过~因为你遇到了AJAX,要抓取数据就要模拟浏览器取数据可以用python写用scrapy抓取一抓一个准等会儿我把cygwin安装个scrapy先

huang6894

回复 2# 李满满


    表示都不是我接触过的，非常抱歉哈，能不能提供一个例子呢？

huang6894

已用perl解决，谢谢

Shell_HAT

回复 4# huang6894


    代码发出来分享一下吧

reb00t

ajax传的参数与链接怎么找到的呢？ 求代码。{:3_189:}

好像是这个URL    https://decipher.sanger.ac.uk/sy ... ype?_=1413786729543

huang6894

@Shell_HAT@reb00t其实不是解决ajax的问题，而是我之前单纯用wget得不到源代码，看了一下http://bbs.chinaunix.net/forum.p ... mp;fromuid=29097174这位大神的代码之后再去获取就得到了，然后就是重启大大说的页面。。。

李满满

嘿嘿可以用抓包工具分析networking~python中很多模块也可以很方便获取不用抓包的干活~回复 6# reb00t