python 爬虫 某公司的试题

hlsd665

除了logging和自测部分，其它正常。当已经完成这些时，发现某公司又新增加了试题。。。。。。没意思，真没意思。。。。

1. # coding:utf-8
   
2. from time import sleep, ctime
   
3. from Queue import Queue
   
4. import threading
   
5. from BeautifulSoup import BeautifulSoup
   
6. import urllib, re, sqlite3, os
   
7. from optparse import OptionParser
   
8. 
   
9. 
   
10. # 读取url线程类
    
11. class readUrlThread(threading.Thread):
    
12.     def __init__(self, urlqueue, htmlqueue, readurls, key, deep):
    
13.         threading.Thread.__init__(self)
    
14.         self.urlqueue = urlqueue
    
15.         self.htmlqueue = htmlqueue
    
16.         self.key = key
    
17.         self.readurls = readurls
    
18.         self.deep = deep
    
19.         self.urls = readurls
    
20.    
    
21.     # 取得url
    
22.     def geturl(self, urltuple):
    
23.         id, url = urltuple
    
24.         try:
    
25.             html = urllib.urlopen(url).read()
    
26.         except UnicodeError, e: # 如果出现Unicode异常 转换后再次放入队列
    
27.             self.urlqueue.put((id, url.encode('raw_unicode_escape')))
    
28.             return None
    
29.         except Exception,e:
    
30.             print u'抓取错误：', e
    
31.             return None
    
32.         if not id >= self.deep: # 判断是否到达层数
    
33.             soup = BeautifulSoup(html)
    
34.             urlall = soup.findAll('a', onclick=None, href=re.compile('^http:|^/'))
    
35.             if url.endswith('/'):
    
36.                 url = url[:-1]
    
37.             for i in urlall:
    
38.                 if i['href'].startswith('/'):
    
39.                     i['href'] = url + i['href']
    
40.                 if i['href'] not in self.urls: #如果没在已经读取URL列表中时，加入到列表和队列
    
41.                     self.urls.append(i['href'])
    
42.                     self.urlqueue.put((id+1, i['href']))
    
43.         return html
    
44.    
    
45.     # 过滤字符串
    
46.     def htmlfilter(self, url, html):
    
47.         if self.key: # 匹配关键字、加入队列
    
48.             re_string = '|'.join(key.split())
    
49.             if soup.findAll(text=re.compile(re_string)):
    
50.                 self.htmlqueue.put((url, key, html))
    
51.         else:
    
52.             self.htmlqueue.put((url, '', html))
    
53.    
    
54.     def run(self):
    
55.         while True:
    
56.             urltuple = self.urlqueue.get()
    
57.             id, url = urltuple
    
58.             print u'抓取 URL:', self.urlqueue.qsize(), id, url
    
59.             html = self.geturl(urltuple)
    
60.             if html:
    
61.                 self.htmlfilter(url, html)
    
62.             self.urlqueue.task_done() # 向url队列发送信号
    
63. 
    
64. class writeDatabaseThread(threading.Thread):
    
65.     def __init__(self, htmlqueue, sqlitefile):
    
66.         threading.Thread.__init__(self)
    
67.         self.htmlqueue = htmlqueue
    
68.         self.sqlitefile = sqlitefile
    
69.    
    
70.     def run(self):
    
71.         sqliteCon = sqlite3.connect(self.sqlitefile)
    
72.         sqliteCon.text_factory = str
    
73.         cur=sqliteCon.cursor()
    
74.         cur.execute('''
    
75.         create table data (
    
76.           id INTEGER PRIMARY KEY  AUTOINCREMENT  ,
    
77.           url text,
    
78.           key text,
    
79.           html text
    
80.         )
    
81.         ''')
    
82.         sqliteCon.commit()
    
83.         while True:
    
84.             url, key, html = self.htmlqueue.get()
    
85.             self.htmlqueue.task_done()
    
86.             try:
    
87.                 cur.execute("insert into data (url,key,html) values (?,?,?)",(url, key, html))
    
88.                 sqliteCon.commit()
    
89.                 print u'写入：', url, self.htmlqueue.qsize()
    
90.             except Exception,e:
    
91.                 print u'数据库错误：', e
    
92.                 self.htmlqueue.put((url, key, html))
    
93.         sqliteCon.close()
    
94. 
    
95. 
    
96. def work(url, deep, threads, dbfile, key):
    
97.     urlqueue = Queue(0)
    
98.     htmlqueue = Queue(0)
    
99.     readurls = []
    
100.    
     
101.     if os.path.isfile(dbfile):
     
102.         os.remove(dbfile)
     
103.    
     
104.     for i in range(threads):
     
105.         r = readUrlThread(urlqueue, htmlqueue, readurls, key, deep)
     
106.         r.setDaemon(True)
     
107.         r.start()
     
108.    
     
109.     urlqueue.put((1,url))
     
110.    
     
111.     w = writeDatabaseThread(htmlqueue, dbfile)
     
112.     w.setDaemon(True)
     
113.     w.start()
     
114.    
     
115.     urlqueue.join()
     
116.     htmlqueue.join()
     
117.     print u'运行完成, 链接数量:%d' % len(readurls)
     
118. 
     
119. #work('http://www.baidu.com', 2, 50, 'bbe.sqlite','')
     
120. 
     
121. if __name__ == '__main__':
     
122.     usage = u''
     
123.     parser = OptionParser(usage)
     
124.     parser.add_option("-u", dest="url", type="string",
     
125.                       help=u"指定爬虫开始地址")
     
126.     parser.add_option("-d", dest="deep", type="int",
     
127.                       help=u"指定爬虫深度")
     
128.     parser.add_option("-f", dest="logfile", default="spider.log", type="string",
     
129.                       help=u"日志记录文件，默认spider.log")
     
130.     parser.add_option("-l", dest="loglevel", default="5", type="int",
     
131.                       help=u"日志记录文件记录详细程度，数字越大记录越详细，可选参数")
     
132.     parser.add_option("--thread", dest="thread", default="10", type="int",
     
133.                       help=u"指定线程池大小，多线程爬取页面，可选参数，默认10")
     
134.     parser.add_option("--dbfile", dest="dbfile", type="string",
     
135.                       help=u"存放结果数据到指定的数据库(sqlite)文件中")
     
136.     parser.add_option("--key", metavar="key", default="", type="string",
     
137.                       help=u"页面内的关键词，获取满足该关键词的网页，可选参数，默认为所有页面")
     
138.     parser.add_option("--testself", action="store_false", dest="testself", default=True,
     
139.                       help=u"程序自测，可选参数")
     
140.     (options, args) = parser.parse_args()
     
141.    
     
142.     if options.testself:
     
143.         work(options.url, options.deep, options.thread, options.dbfile, options.key)
     
144.     else:
     
145.         print '**running standard doctest'
     
146.         import doctest, spider1
     
147.         doctest.testmod(spider1)
     

复制代码

tankywoo

我知道是哪个公司了。。。。

风间星魂

我也知道是那个公司了，现在在赵灵儿故乡得公司。。

tankywoo

回复 3# 风间星魂


    You are right...

anpuli

我靠！！靠靠靠 kkkkkkk

freedos520

好吧，我还不知道某公司到底是哪个

rteta

我也不知道那个公司？ 求解

yakczh_cu

怎么样判断内容更新