正则表达式的一点应用

whitefirer

1. # -*- coding: utf-8 -*-
   
2. '''
   
3.         Filename: searchfile.py
   
4.         Discription: 搜索指定目录下的网页文件，并从文件中提取title
   
5.         By: whitefirer
   
6.        
   
7. '''
   
8. 
   
9. '''
   
10.         要注意的是：
    
11.         1. 现在的记录方式是追加方式，如果要用覆盖方式，请自行用logo记录，然后一次写入（似乎它只能一次）
    
12.         2. 复制网页文件到指定路径下的功能已注释，如有需要，请自行修改
    
13.         3. 现写了的网页格式有'html', 'mht', 'jsp', 'htm', 'php', 'shtml', 'asp'，如有需要，请自行添加
    
14.         4. ....
    
15. '''
    
16. import os, sys, re, shutil, binascii
    
17. startpath = "G:\\Python25"                                                #被操作的文件夹
    
18. targetpath = "G:\\test\\"                                                #复制文件的目的路径
    
19. logopath = "G:\\test\\logo.txt"                                        #提取title存入的文件
    
20. g_wap_pattern = ['html', 'mht', 'jsp', 'htm', 'php', 'shtml', 'asp', 'xhtml', 'aspx']
    
21.                                                                 #各种网页格式
    
22. #logo = ["logo:\r\n"]
    
23. #以上写在这里只是为了便于修改，如果有需要，也可以写成管道方式或其它方式
    
24. '''
    
25. def ansymhttitle(string):                                                #不能得到非汉字，并且做复杂了
    
26.         strinfo = re.compile(r'=..')
    
27.         strlist = strinfo.findall(string)
    
28.         string = ''
    
29.        
    
30.         for i in range(0, len(strlist)):
    
31.                 strlist[i] = hex(int(strlist[i].replace('=', '') , 16)).replace('0x', '') # 多此一举
    
32.                 string = string + binascii.a2b_hex(strlist[i])
    
33.         return string
    
34. '''
    
35. def ansymhttitle(string):
    
36.         string = string.replace('=\n', '')                                        #去除'=\n' 也可以换成\n
    
37.         strinfo = re.compile(r'=\w\w|=\s')#r'=..'                                # 匹配字母与数字
    
38.         strlist = strinfo.findall(string)
    
39.         #print strlist                                                #测试时用
    
40. 
    
41.         for i in range(0, len(strlist)):
    
42.                 string = string.replace(strlist[i], binascii.a2b_hex(strlist[i].replace('=', '')))
    
43.         return string                                                #替换为相应ascii码后返回
    
44.        
    
45. def gettitle(url, waptype):
    
46.         file_object = open(url)                                        #开打文件
    
47.         try:
    
48.                 content = file_object.read( )                                #读取文件内容
    
49. 
    
50.                 title = re.findall(r"<title>([\s\S]*?)</title>", content, re.M)
    
51.                 #意思是取<title></title>间的任意多的所有字符\s是空白字符\S是非空白字符
    
52.                 #r"<title>\s*(.*?)\s*</title>", 这个不对换行进行判断，现在的可以
    
53.                 #titlepattern = re.compile(r"<TITLE>[...]</TITLE>")
    
54.                 #title = titlepattern.search(content);
    
55.                
    
56.                 if(title):
    
57.                         if '' == title[0]:
    
58.                                 title[0] = '无标题'                        #找到为空时，无标题
    
59.                 else:
    
60.                         title = re.findall(r"<TITLE>([\s\S]*?)</TITLE>", content, re.M)
    
61.                         if title:                                        #上面对大写的<TITLE>标签进行判断
    
62.                                 if '' == title[0]:
    
63.                                         title[0] = '无标题'                #找到为空时，无标题
    
64.                         else:
    
65.                                 title.append('无标题')                #未找到时，无标题
    
66.                                
    
67.                 if not cmp(waptype, "mht"):                                #如果是mht文件，则对其title解码
    
68.                         title[0] = ansymhttitle(title[0])
    
69.                
    
70.                 title[0] = title[0].replace('\n', '')                        #去掉换行符（主要针对<title>后面的）
    
71.                 print title[0]
    
72.                
    
73.         finally:
    
74.                 file_object.close( )                                        #关闭文件
    
75.                
    
76.         lastpath = re.findall(r"\\([\s\S]*?)\\", url, re.M)
    
77.         n = len(lastpath) - 1
    
78.         #logo.append("http://" + lastpath[n] + "/" + "\t" + title[0] + "\n")
    
79.         logostr = "http://" + lastpath[n] + "/" + "\t" + title[0] + "\n"
    
80.        
    
81.         file_logo = file(logopath, 'a')                                        #以追加方式打开
    
82.         try:
    
83.                 file_logo.write(logostr)                                #写入信息
    
84.         except IOError:  
    
85.                 print('IOError')
    
86.         #finally:
    
87.                 #file_logo.colse()
    
88.                
    
89. def searchfile(n, dirname):  
    
90.          
    
91.         for basename in os.listdir(dirname):   
    
92.                 path = os.path.join(dirname, basename)                #得到路径下所有的文件的完整路径
    
93. 
    
94.                 if os.path.isdir(path):         
    
95.                         searchfile(n + 1, path)                         #递归搜索文件
    
96.                 else:
    
97.                         #pattern = re.compile(r'(.*?).html') #r'(.*?).txt'
    
98.                         #if pattern.match(basename):
    
99.                                 #print basename
    
100.                         if not os.path.getsize(path):                        #判断文件的大小，如果为空则不执行下面的代码
     
101.                                 continue
     
102.                                
     
103.                         for i in range(0, len(g_wap_pattern)):
     
104.                                 if path.lower().endswith(g_wap_pattern[i]):
     
105.                                         print '文件路径：' + path        #当是网页文件后缀时打印路径
     
106.                                         #shutil.copyfile(path, targetpath + basename)
     
107.                                         #拷贝文件到目标地
     
108.                                         gettitle(path, g_wap_pattern[i])#得到该网页的title
     
109.                                         break
     
110.                                
     
111. if __name__ == "__main__" :
     
112.         try :
     
113.                 searchfile(1, startpath)                                 #递归搜索指定路径下的文件
     
114.                 '''
     
115.                 print logo
     
116.                 print len(logo)
     
117.                 file_logo = open("G:\\test\\logo.txt", 'w')
     
118.                 try:
     
119.                         for i int range( 0, len(logo)):
     
120.                                 file_logo.write(logo[i])
     
121.                 except IOError:  
     
122.                         print('IOError')
     
123.                 finally:       
     
124.                         file_logo.colse()
     
125.                 '''
     
126.         except:
     
127.                 print "execute search file fun error"
     
128.         raw_input('Enter to continue...')                        #暂停
     
129.        

复制代码

呃，再附一张re的表吧：

ixuh

很荣幸在这里看到我写的表格

whitefirer

很荣幸在这里看到我写的表格
ixuh 发表于 2010-12-18 13:14

    哇，你把名倒过了...多多指教哈~

ixuh

回复 3# whitefirer


    不敢当不敢当，一起学习

whitefirer

补充一点，这个是对本地网页文件分析的，当然其实应当判断一下它的编码方式的，得用第三方库chardet:  http://chardet.feedparser.org/download/
, 如下：

1.                 chartype = chardet.detect(title[0]).values()[1]
   
2.                 title[0] = title[0].decode(chartype).encode('GB18030')#gb2312 双字节，区别再于GB18030是最新标准字比gb2312多，不过gb2312跟uft8可兼容的系统（包括手机）更多

复制代码

当然，如果是在线分析的网页的话，可以用正则提取head 里的charset，而用chardet也是可以的

whitefirer

修改：

1. # -*- coding: utf-8 -*-
   
2. '''
   
3.         要注意的是：
   
4.         1. 现在的记录方式是追加方式，如果要用覆盖方式，请自行用logo记录，然后一次写入（似乎它只能一次）
   
5.         2. 复制网页文件到指定路径下的功能已注释，如有需要，请自行修改
   
6.         3. 现写了的网页格式有'html', 'mht', 'jsp', 'htm', 'php', 'shtml', 'asp'，如有需要，请自行添加
   
7.         4. ....
   
8. '''
   
9. import os, sys, re, shutil, binascii, chardet
   
10. startpath = "G:\\Python25\\"                                        #被操作的文件夹
    
11. targetpath = "G:\\test\\"                                                #复制文件的目的路径
    
12. logopath = "G:\\test\\logo.txt"                                        #提取title存入的文件
    
13. notitle = '无标题'
    
14. codetype = 'utf8'#GB18030如果不行改成uft8
    
15. #gb2312 双字节，区别再于GB18030是最新标准字比gb2312多，不过gb2312跟uft8可兼容的系统（包括手机）更多
    
16. g_wap_pattern = ['html', 'mht', 'jsp', 'htm', 'php', 'shtml', 'asp', 'xhtml', 'aspx']
    
17.                                                                                                 #各种网页格式
    
18. #logo = ["logo:\r\n"]
    
19. #以上写在这里只是为了便于修改，如果有需要，也可以写成管道方式或其它方式
    
20. 
    
21. '''
    
22. def ansymhttitle(string):                                                #不能得到非汉字，并且做复杂了
    
23.         strinfo = re.compile(r'=..')
    
24.         strlist = strinfo.findall(string)
    
25.         string = ''
    
26.        
    
27.         for i in range(0, len(strlist)):
    
28.                 strlist[i] = hex(int(strlist[i].replace('=', '') , 16)).replace('0x', '') # 多此一举
    
29.                 string = string + binascii.a2b_hex(strlist[i])
    
30.         return string
    
31. '''
    
32. 
    
33. def makefolder(inFolderName, FolderName):
    
34.     if os.path.isdir( inFolderName ):
    
35.         newFolderName = inFolderName + '' + FolderName
    
36.         if os.path.isdir( newFolderName ):
    
37.             print(newFolderName," Exists already ")
    
38.         else:
    
39.             os.mkdir(newFolderName)
    
40.             print(newFolderName," Create OK ")
    
41.     else:
    
42.         print(inFolderName," not exists, script stop ")
    
43.                
    
44. def ansymhttitle(string):
    
45.         string = string.replace('=\n', '')                        #去除'=\n' 也可以换成\n
    
46.         strinfo = re.compile(r'=\w\w|=\s')#r'=..'        # 匹配字母与数字
    
47.         strlist = strinfo.findall(string)
    
48.         #print strlist                                                                #测试时用
    
49. 
    
50.         for i in range(0, len(strlist)):
    
51.                 string = string.replace(strlist[i], binascii.a2b_hex(strlist[i].replace('=', '')))
    
52.         return string                                                                #替换为相应ascii码后返回
    
53.        
    
54. def gettitle(url, waptype):
    
55.         file_object = open(url)                                                #开打文件
    
56.         try:
    
57.                 content = file_object.read( )                        #读取文件内容
    
58.                 #chartype = chardet.detect(content).values()[1]
    
59.                 title = re.findall(r"<title>([\s\S]*?)</title>", content, re.M)
    
60.                 #意思是取<title></title>间的任意多的所有字符\s是空白字符\S是非空白字符
    
61.                 #r"<title>\s*(.*?)\s*</title>", 这个不对换行进行判断，现在的可以
    
62.                 #titlepattern = re.compile(r"<TITLE>[...]</TITLE>")
    
63.                 #title = titlepattern.search(content);
    
64. 
    
65.                 if(title):
    
66.                         if '' == title[0]:
    
67.                                 title[0] = notitle                                #找到为空时，无标题
    
68.                 else:
    
69.                         title = re.findall(r"<TITLE>([\s\S]*?)</TITLE>", content, re.M)
    
70.                         if title:                                                        #上面对大写的<TITLE>标签进行判断
    
71.                                 if '' == title[0]:
    
72.                                         title[0] = notitle                        #找到为空时，无标题
    
73.                         else:
    
74.                                 title.append(notitle)                        #未找到时，无标题
    
75.                                
    
76.                 if not cmp(waptype, "mht"):                                #如果是mht文件，则对其title解码
    
77.                         title[0] = ansymhttitle(title[0])
    
78.                        
    
79.                 chartype = chardet.detect(title[0]).values()[1]
    
80.                 print chartype
    
81.                 title[0] = title[0].replace('\n', '')        #去掉换行符（主要针对<title>后面的）
    
82.                 title[0] = title[0].decode(chartype).encode(codetype)
    
83.                 print title[0].decode(codetype).encode('GB18030')
    
84.                                                                                                 #这里只是为了屏幕上显示的不是乱码，如果想提高效率，可以删除
    
85.         finally:
    
86.                 file_object.close( )                                        #关闭文件
    
87.                
    
88.         return title[0]
    
89.                
    
90. def searchfile(n, dirname):  
    
91.          
    
92.         for basename in os.listdir(dirname):   
    
93.                 path = os.path.join(dirname, basename)        #得到路径下所有的文件的完整路径
    
94. 
    
95.                 if os.path.isdir(path):         
    
96.                         searchfile(n + 1, path)                         #递归搜索文件
    
97.                 else:
    
98.                         #pattern = re.compile(r'(.*?).html') #r'(.*?).txt'
    
99.                         #if pattern.match(basenames):
    
100.                                 #print basenames
     
101.                         if not os.path.getsize(path):                #判断文件的大小，如果为空则不执行下面的代码
     
102.                                 continue
     
103.                                
     
104.                         for i in range(0, len(g_wap_pattern)):
     
105.                                 if path.lower().endswith(g_wap_pattern[i]):
     
106.                                         print '文件路径：' + path        #当是网页文件后缀时打印路径
     
107.                                         #拷贝文件到目标地
     
108.                                         title = gettitle(path, g_wap_pattern[i])        #得到该网页的title
     
109.                                         folder = dirname.split("\\")[-1]
     
110.                                         logostr = "http://" + folder + "/" + "\t" + title + "\n"
     
111.                                         makefolder(targetpath, folder)
     
112.                                         shutil.copyfile(path, targetpath +folder + '\\' + basename)
     
113.                                         file_logo = file(logopath, 'a')                                #以追加方式打开
     
114.                                         try:
     
115.                                                 file_logo.write(logostr)                                #写入信息
     
116.                                         except IOError:  
     
117.                                                 print('IOError')
     
118.                                         #finally:
     
119.                                         #file_logo.colse()
     
120.                                         break
     
121.                                
     
122. if __name__ == "__main__" :
     
123.         try :
     
124.                 searchfile(1, startpath)                                #递归搜索指定路径下的文件
     
125.                 '''
     
126.                 print logo
     
127.                 print len(logo)
     
128.                 file_logo = open("G:\\test\\logo.txt", 'w')
     
129.                 try:
     
130.                         for i int range( 0, len(logo)):
     
131.                                 file_logo.write(logo[i])
     
132.                 except IOError:  
     
133.                         print('IOError')
     
134.                 finally:       
     
135.                         file_logo.colse()
     
136.                 '''
     
137.         except:
     
138.                 print "execute search file fun error"
     
139.         raw_input('Enter to continue...')                        #暂停

复制代码