截取猫眼票房数据到mongodb

flyingknife

第一次写python，模仿别人的抓取代码修改的。把猫眼电影数据抓到本地的mongodb中去，本机设置每半小时执行一次调用bat脚本，可以基于数据查看前十票房变化，分析其他问题。个人爱好，很粗糙请见谅。.
[Python]代码

1. import re
   
2. import urllib.request
   
3. import time
   
4. import pymongo
   
5. 
   
6. def GetHtmlCode(url):
   
7.     page=urllib.request.urlopen(url)
   
8.     htmlCode=page.read().decode('utf-8')
   
9.     #fileObj=open('C:\\Users\\Jason\\Desktop\\wy.txt','w',encoding='utf-8')
   
10.     #fileObj.write(htmlCode)
    
11.     #fileObj.close()
    
12.     hc=htmlCode
    
13.     return hc
    
14.      
    
15. class MovieData:
    
16.     MovieName=''
    
17.     MovieMoney=''
    
18.     MovieMP=''
    
19.     MovieDP=''
    
20.     MovieAllMoney=''
    
21.     def __init__(self,mn,mm,mmp,mdp,mam):
    
22.         self.MovieName=mn
    
23.         self.MovieMoney=mm
    
24.         self.MovieMP=mmp
    
25.         self.MovieDP=mdp
    
26.         self.MovieAllMoney=mam
    
27.     def print(self):
    
28.         tm1=time.strftime('%Y-%m-%d  %H:%M:%S')
    
29.         tm2=str(tm1)
    
30.         print('电影名称: %s \n 票房: %s万元 \n 票房占比: %s \n 屏幕占比: %s \n 总收入: %s万元 \n 收集时间 is : %s '%(self.MovieName,self.MovieMoney,self.MovieMP,self.MovieDP,self.MovieAllMoney,tm2))
    
31.         #return ('电影名称: %s \n 票房: %s万元 \n 票房占比: %s \n 屏幕占比: %s \n 总收入: %s万元 \n 收集时间 is : %s '%(self.MovieName,self.MovieMoney,self.MovieMP,self.MovieDP,self.MovieAllMoney,tm2))
    
32.     def get(self):
    
33.         tm1=time.strftime('%Y-%m-%d  %H:%M:%S')
    
34.         tm2=str(tm1)
    
35.         return ('电影名称: %s \n 票房: %s万元 \n 票房占比: %s \n 屏幕占比: %s \n 总收入: %s万元 \n 收集时间 is : %s '%(self.MovieName,self.MovieMoney,self.MovieMP,self.MovieDP,self.MovieAllMoney,tm2))
    
36. def GetDataBlock(pagecode):
    
37.     DataBlock_re = r'<ul class="canTouch[\s\S]+?</ul>'
    
38.     DBre=re.compile(DataBlock_re)
    
39.     DBList=re.findall(DBre, pagecode)
    
40.     #print(DBList[0])
    
41.     #num=0
    
42.     #for i in DBList:
    
43.     #    num=num+1
    
44.     #    print(str(num)+'----------------------')
    
45.     #   print(i)
    
46.     return DBList
    
47. def MakeDataInfo(block):
    
48.     b1_re=r'<li class=\'c1\'>[\s\S]+?</li>'
    
49.     b1=re.search(b1_re, block).group()
    
50.     b1=re.sub(r'<li[\s\S]+?<b>','',b1)
    
51.     b1=re.sub(r'</b>[\s\S]+?</li>','',b1)
    
52.     #print(b1)
    
53.     b2_re=r'<li class="c2">[\s\S]+?</li>'
    
54.     b2=re.search(b2_re, block).group()
    
55.     b2=re.sub(r'<li[\s\S]+?<b>','',b2)
    
56.     b2=re.sub(r'</b>[\s\S]+?</li>','',b2)
    
57.     #print(b2)   
    
58.     b3_re=r'<li class="c3">[\s\S]+?</li>'
    
59.     b3=re.search(b3_re, block).group()
    
60.     b3=re.sub(r'<li class="c3">','',b3)
    
61.     b3=re.sub(r'</li>','',b3)
    
62.     #print(b3)
    
63.     b4_re=r'<li class="c4">[\s\S]+?</li>'
    
64.     b4=re.search(b4_re, block).group()
    
65.     b4=re.sub(r'<li class="c4">','',b4)
    
66.     b4=re.sub(r'</li>','',b4)
    
67.     # print(b4)
    
68.     b5_re=r'<li class="c5">[\s\S]+?</li>'
    
69.     b5=re.search(b5_re, block).group()
    
70.     b5=re.sub(r'<li class="c5">','',b5)
    
71.     b5=re.sub(r'<span[\s\S]+?</li>','',b5)
    
72.     b5=re.search(r'[\d]+', b5).group()
    
73.     #print(b5)
    
74.     return MovieData(b1,b2,b3,b4,b5)
    
75.      
    
76. client=pymongo.MongoClient('localhost',27017)
    
77. db=client.test  
    
78. def insert(name,income,rate1,rate2,alincome,time):
    
79.     db.movie.insert_one({"name":name,"income":income,"mrate":rate1,"drate":rate2,"allincome":alincome,"time":time})
    
80.    
    
81.      
    
82. tm1=time.strftime('%Y-%m-%d  %H:%M:%S')
    
83. tm2=str(tm1)
    
84. pc=GetHtmlCode('http://piaofang.maoyan.com/')
    
85. #print(pc)a
    
86. bl=GetDataBlock(pc)
    
87. mdata=''
    
88. for i in bl:
    
89.     mv=MakeDataInfo(i)
    
90.     insert(mv.MovieName,mv.MovieMoney,mv.MovieMP,mv.MovieDP,mv.MovieAllMoney,tm2)
    
91.     #insert(mv,tm2)
    
92.     mv.print()
    
93.     mdata=mdata+mv.get()
    
94. fileObj=open('C:\\Users\\Jason\\Desktop\\wy.txt','a',encoding='utf-8')
    
95. fileObj.write(mdata)
    
96. fileObj.close()

复制代码

ragkk

需要这么复杂吗？