Python 多线程爬虫自动Killed问题

qq17920

我写了一个多线程抓取9游游戏论坛帖子的爬虫, 每次最多建立100个线程去抓取,当startPage=1, endPage<100的时候可以正常运行, 但当endPage > 100的时候,总是在处理完1~101页之后自动Killed 掉, 请问这是什么原因?  有什么解决的办法?

1. #!/usr/bin/env python
   
2. # encoding: utf-8
   
3. 
   
4. import sys
   
5. import urllib2
   
6. import threading
   
7. from bs4 import BeautifulSoup
   
8. 
   
9. suffix = "-1.html"
   
10. 
    
11. def analyse(start, end, url):
    
12.     threads = []
    
13.     while start <= end:
    
14.         i = 0
    
15.         while start <= end:
    
16.             if i > 100 :
    
17.                 break
    
18.             t = threading.Thread(target=getContent, args=(url + str(start) + suffix, i))
    
19.             threads.append(t)
    
20.             start = start + 1
    
21.             i += 1
    
22.             print(i)
    
23.         for thread_obj in threads:
    
24.             thread_obj.start()
    
25.         for thread_obj in threads:
    
26.             thread_obj.join()
    
27.         del threads[:]
    
28. 
    
29.                
    
30. def getContent(url, index):
    
31.     req  = urllib2.Request(url, headers={"user-Agent":"Magic Browser"})
    
32.     page = urllib2.urlopen(req)
    
33.     html = page.read()
    
34.     soup = BeautifulSoup(html)
    
35.     userName = []
    
36.     floorNum = []
    
37.     replyCon = []
    
38.     result = ""
    
39. 
    
40.     #get user name
    
41.     for auth in soup.find_all('div',{"class":"i y"}):
    
42.                 for ya in auth.stripped_strings:
    
43.                         userName.append(unicode(ya))
    
44.                         break
    
45. 
    
46.     #get floor number
    
47.     click = "setCopy(this.href, '帖子地址复制成功');return false;"
    
48.     for s in soup.find_all('a', {"onclick": click}):
    
49.         for ya in s.strings:
    
50.              floorNum.append(unicode(ya))
    
51.              break
    
52. 
    
53.     #get reply content
    
54.     for s in soup.find_all('div', {"class": "t_fsz"}):
    
55.         tmpList = []
    
56.         for ya in s.stripped_strings:
    
57.             tmpList.append(unicode(ya))
    
58.         replyCon.append(''.join(tmpList))
    
59.         del tmpList[:]
    
60. 
    
61.     #merge name, number, replay and return
    
62.     i = 0
    
63.     while i < len(userName):
    
64.                 single = floorNum[i] + "\t\t" + userName[i] + "\t\t" + replyCon[i] + "\n"
    
65.                 print single
    
66.                 result = result + single
    
67.                 i = i + 1
    
68.     page.close()
    
69. 
    
70. 
    
71. if __name__ == "__main__":
    
72.     reload(sys)
    
73.     sys.setdefaultencoding('utf8')
    
74.     #url = raw_input("输入待分析帖子的ID:")
    
75.     #startPage = string.atoi(raw_input("输入起始页码:"))
    
76.     #endPage = string.atoi(raw_input("输入终止页码:"))
    
77.     #url = "http://bbs.9game.cn/thread-6688328-4-1.html"
    
78.     url=6651496
    
79.     startPage=1
    
80.     endPage=130
    
81.     url = "http://bbs.9game.cn/thread-" + str(url) + "-"
    
82.     if startPage > endPage:
    
83.         print("页码参数错误")
    
84.         exit(0)
    
85.     analyse(startPage, endPage, url)
    

复制代码

qq17920

qq17920 发表于 2014-09-11 12:53
我写了一个多线程抓取9游游戏论坛帖子的爬虫, 每次最多建立100个线程去抓取,当startPage=1, endPage 100的时 ...

之前把这个脚本在我的内存128MB的VPS上运行, 不停的被KILLED, 后来在本地电脑上运行, 顺畅运行到结束. 可能是由于内存请求过大导致不停被KILLED, 程序在本地window xp运行的时候内存占用基本维持在200MB~300MB之间.

bikong0411

使用内存过多被OOM了