python获取网站外链

getfuture

转自：http://www.cnpythoner.com/post/122.html

1. #encoding=utf-8
   
2. #@author:老王python
   
3. #@description:检查网站的外链
   
4. 
   
5. import urllib
   
6. from sgmllib import SGMLParser
   
7. import re
   
8. import sys
   
9. 
   
10. infolist = {}#结果列表
    
11. 
    
12. class LinkParser(SGMLParser):
    
13.     '''抓取link列表的信息'''
    
14.     def reset(self):
    
15.         SGMLParser.reset(self)
    
16.         self.url = ''#链接文本
    
17.         self.li_check = 0
    
18.         self.a_check = 0
    
19.         self.jt_url = ''#具体url
    
20.         self.infolist = {}
    
21. 
    
22. 
    
23.     def start_li(self, tag):
    
24.         '''检测li开头'''
    
25.         if tag:
    
26.             if tag[0][1] == 'sco5li0' or tag[0][1] == 'sco5li1':
    
27.                     self.li_check = 1
    
28. 
    
29.     def start_a(self,tag):
    
30.         '''检测a开头'''
    
31.         if self.li_check == 1:
    
32.             if not tag[0][1].startswith('http://203.209.253.250'):
    
33.                 host_re  = re.compile(r'^https?://(.*?)($|/)',
    
34.                     re.IGNORECASE
    
35.                 )               
    
36.                 self.url = host_re.search(tag[0][1]).group(1)
    
37.                 self.jt_url = tag[0][1]
    
38.                 self.a_check = 1
    
39. 
    
40. 
    
41.     def handle_data(self, text):
    
42.         '''处理空白文本'''
    
43.         txt = text.strip()
    
44. 
    
45.         if txt and self.a_check and txt != '快照':
    
46.             checkurl = '%s,%s' % (self.url,self.jt_url)
    
47.             self.infolist[checkurl] = txt
    
48.             
    
49.         if txt == '':
    
50.             return
    
51.         
    
52.     def end_li(self):
    
53.         self.li_check = 0
    
54.         
    
55.     def end_a(self):
    
56.         self.a_check = 0
    
57. 
    
58. 
    
59. numre = re.compile(r'<strong>.+')#匹配总的记录数
    
60. pnum = re.compile(r'\d+')
    
61. 
    
62. checkurl = ''#查询网站的地址，比如http://www.xxx.com
    
63. checkurl = urllib.quote(checkurl)#请求地址
    
64. 
    
65. pageurl = 'http://sitemap.cn.yahoo.com/search?bwm=i&bwmo=d&p=%s' % (checkurl)
    
66. content = urllib.urlopen(pageurl).read()
    
67. c = numre.search(content).group(0)
    
68. totalnum =  int(pnum.search(c).group(0))#总的外链数
    
69. 
    
70. 
    
71. host_re  = re.compile(r'^http://(?P<host>www\.(?:[A-Z0-9-]+\.){1}[A-Z\.]{2,6}),
    
72.     re.IGNORECASE
    
73. )
    
74. 
    
75. pagesize = 50#一页显示50条
    
76. 
    
77. if totalnum % pagesize:
    
78.     page = totalnum/pagesize
    
79. else:
    
80.     page = (totalnum/pagesize)+1
    
81. 
    
82. 
    
83. f = file('a.txt','w')
    
84. 
    
85. for k in xrange(page):
    
86.     parser = LinkParser()
    
87.     url = 'http://sitemap.cn.yahoo.com/search?bwm=i&bwmo=d&p=%s&b=%s' % (checkurl,k*50)
    
88.     print 'url=========>',url
    
89.     cstr = urllib.urlopen(url).read()
    
90.     parser.feed(cstr)
    
91.     parser.close()
    
92.    
    
93.     for m in parser.infolist:
    
94.         domain,jt_url = m.split(',')
    
95.         print 'domain--------->',domain
    
96.         print 'jt_url--------->',jt_url
    
97.         t =  'url:%s,jt_url:%s,title:%s\n' % (domain,jt_url,parser.infolist[m].decode('utf-8').encode('utf-8'))
    
98.         f.write(t)
    
99. f.close()
    

复制代码