大家帮我看看为毛urllib2 无法read出数据

行走的小布鞋

我的代码如下，目的是爬取某网站上的数据，但是，我发现使用urllib2.open()打开网页后，无法读取内容，即：read()为空。
但是urlopen已经执行成功，并且返回code：200
我不知道是不是因为用爬虫爬取数据，所以他不给返回了，跪请大神指点

1. # encoding: utf-8
   
2. import json
   
3. import urllib
   
4. import urllib2
   
5. import re
   
6. import sys
   
7. reload(sys)
   
8. sys.setdefaultencoding( "utf-8" )
   
9. 
   
10. def getproductID(productID, page):
    
11.     url = "https://club.jd.com/comment/productPageComments.action?productId=" + productID + "&score=0&sortType=5&page=" + str(page) + "&pageSize=10&isShadowSku=0"
    
12.     user_agent = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36'
    
13.     headers = {'User-Agent': user_agent}
    
14.     req = urllib2.Request(url)
    
15.     req.add_header('User-Agent', user_agent)
    
16.     try:
    
17.         response = urllib2.urlopen(req)
    
18.     except urllib2.URLError, e:
    
19.         if hasattr(e,"reason"):
    
20.             print "Page %d Failed to connect the server!" % page
    
21.             print "The reason is: %s" % e.reason
    
22.             return
    
23.         elif hasattr(e, 'code'):
    
24.             print "Error code is: %s" % e.code
    
25.             return
    
26. 
    
27.     data = response.read()
    
28.     html = data.decode("gbk", "ignore").encode("utf-8")
    
29.     comment_file = "comments.txt"
    
30. 
    
31.     if data:
    
32.         j = json.loads(html)
    
33.         if len(j["comments"]) == 0:
    
34.             print "Job is done!"
    
35.             print "Total of pages are: %d" % page
    
36.         else:
    
37.             for i in range(len(j["comments"])):
    
38.                 with open(comment_file, 'a') as fh:
    
39.                     fh.write(j["comments"][i]["nickname"] + ':')
    
40.                     fh.write(j["comments"][i]["content"] + '\n')
    
41.     else:
    
42.         with open("tmp.txt", 'a') as tmp:
    
43.             tmp.write(str(page) + ": " + data + '\n')
    
44.         with open("tmp_comment.txt", 'a') as tmp:
    
45.             tmp.write(str(page) + ": " + html + '\n')
    
46.         with open(comment_file, 'a') as fh:
    
47.             fh.write('Page: ' + str(page) + 'Code: ' + str(response.getcode()) + '\n')
    
48.             #fh.write(response.info())
    
49.             fh.write('\n')
    
50. 
    
51. 
    
52. 
    
53. if __name__ == '__main__':
    
54.     for i in range(100000):
    
55.         getproductID('2967927', i)

复制代码