Python的一些用于抓取的方法封装

yinlin7937

[Python]代码

1. #!/usr/bin/env python
   
2. #-*- coding:utf-8-*-
   
3. 
   
4. import urllib2
   
5. import re
   
6. import hashlib
   
7. import json
   
8. 
   
9. #--------------------------------------------------- 工具 start
   
10. def md5(str):
    
11.     '''
    
12.     计算MD5值
    
13.     '''
    
14.     m = hashlib.md5()   
    
15.     m.update(str)
    
16.     return m.hexdigest()
    
17. 
    
18. def search(regex, content, group = 1):
    
19.     '''
    
20.     搜索指定正则匹配的内容
    
21.     '''
    
22.     pattern = re.search(regex, content, re.DOTALL)
    
23.     if(pattern != None):
    
24.         return pattern.group(group)
    
25.     return ''
    
26. 
    
27. def findall(regex, content):
    
28.     '''
    
29.     查找指定正则匹配的所有内容
    
30.     '''
    
31.     return re.findall(regex, content, re.DOTALL)
    
32. 
    
33. def cleanHtmlTag(content):
    
34.     '''
    
35.     清理HTML标签
    
36.     '''
    
37.     return content or re.sub(r'<[^>]*?>', '', content).strip()
    
38. 
    
39. def cleanedSearch(regex, content, group = 1):
    
40.     '''
    
41.     查找匹配的指定字符串并清除HTML标签
    
42.     '''
    
43.     return cleanHtmlTag(search(regex, content, group))
    
44. 
    
45. def httpGet(url, encoding='gbk'):
    
46.     '''
    
47.     发送Http GET请求，返回内容
    
48.     '''
    
49.     return urllib2.urlopen(url).read().decode(encoding, 'ignore').encode('utf-8')
    
50. 
    
51. def toJson(dict):
    
52.     return json.dumps(dict, ensure_ascii=False, indent=4)
    
53. 
    
54. #--------------------------------------------------- 工具 end

复制代码