Python爬虫淘宝数据问题

lion_lol

写了个小爬虫去爬一下淘宝任意商品的首页排行
代码如下
#!/usr/bin/python
#-*- coding: UTF-8 -*-
import urllib,urllib2
htmlurl = "s.taobao.com/search?q="
headers = {
    'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
kw='IPHONE'
#kw = raw_input("Please input the keywords: ")
kwords = urllib.quote(kw.encode('gbk'))
request = urllib2.Request(htmlurl+kwords,headers=headers)
response = urllib2.urlopen(request)  
print response.read()

问题来了,抓回来的html和在浏览器打开的不一样,少了很多,求教是不是有什么限制

bikong0411

数据是由js回填的，你的爬虫不会执行js，所以没数据

anthonyfeng

可用firebug 看一下关注的内容是从哪个url 中来的。

lion_lol

回复 2# bikong0411

请问怎么做才能把这些数据渲染出来?
需要什么模块


   

bikong0411

回复 4# lion_lol


    可以研究下phantomjs，或者python的selenium这个自动化测试模块

游牧民族V

我也使用javascript编写了爬虫源码
在神箭手云爬虫开发平台上可以直接运行