Chinaunix

标题: Python爬虫淘宝数据问题 [打印本页]

作者: lion_lol 时间: 2015-02-28 17:33
标题: Python爬虫淘宝数据问题
写了个小爬虫去爬一下淘宝任意商品的首页排行
代码如下
#!/usr/bin/python
#-*- coding: UTF-8 -*-
import urllib,urllib2
htmlurl = "s.taobao.com/search?q="
headers = {
'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
kw='IPHONE'
#kw = raw_input("Please input the keywords: ")
kwords = urllib.quote(kw.encode('gbk'))
request = urllib2.Request(htmlurl+kwords,headers=headers)
response = urllib2.urlopen(request)
print response.read()

问题来了,抓回来的html和在浏览器打开的不一样,少了很多,求教是不是有什么限制

QQ图片20150228173257.jpg (39.66 KB, 下载次数: 66)

作者: bikong0411 时间: 2015-03-01 09:12
数据是由js回填的，你的爬虫不会执行js，所以没数据

作者: anthonyfeng 时间: 2015-03-02 22:19
可用firebug 看一下关注的内容是从哪个url 中来的。

作者: lion_lol 时间: 2015-03-03 23:15
回复 2# bikong0411

请问怎么做才能把这些数据渲染出来?
需要什么模块

作者: bikong0411 时间: 2015-03-04 09:58
回复 4# lion_lol

可以研究下phantomjs，或者python的selenium这个自动化测试模块

作者: 游牧民族V 时间: 2016-05-25 11:19
我也使用javascript编写了爬虫源码
在神箭手云爬虫开发平台上可以直接运行

QQ图片20160525111835.png (36.02 KB, 下载次数: 49)

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)