帖个刚写的脚本:按IP分类、再按端口分类汇总、排序输出

rwx_hc

说明：
1。按IP对数据文件分类
2。对初次分类文件再按端口分类、统计、排序、输出排名在11位以前的

1. #!/usr/bin/python
   
2. # -*- coding: cp936 -*-
   
3. #diff_nights.py  write by rwx_hc 2006-11-05
   
4. #此程序用于统计输出夜间访问记录
   
5. #本程序雏形由weqboy提供
   
6. import string
   
7. import sys
   
8. import os #处理路径分割符
   
9. import time #延时处理
   
10. 
    
11. #定义数据文件和比对文件路径
    
12. path_input = '..' + os.sep + 'input' + os.sep
    
13. path_dat = '..' + os.sep + 'dat' + os.sep
    
14. 
    
15. #从config.txt读入配置,取得日期数据
    
16. try:
    
17.     f_config = file('..' + os.sep + 'config.txt')
    
18.     config_list = f_config.readlines()
    
19.     f_config.close()
    
20. except IOError:
    
21.     print 'Error：config.txt could not opened!'
    
22.     sys.exit()   
    
23. str_date = config_list[1][0:-1]#取得日期
    
24. 
    
25. #定义原始数据文件名
    
26. str_file_data = path_input + 'nights_' + str_date + '.csv'
    
27. 
    
28. #定义比对文件,五大系统的IP文件
    
29. file_bi_ip = path_dat + 'bi_ip.dat'
    
30. file_mis_ip = path_dat + 'mis_ip.dat'
    
31. file_crm_ip = path_dat + 'crm_ip.dat'
    
32. file_intelligent_ip = path_dat + 'intelligent_ip.dat'
    
33. file_cmod_ip = path_dat + 'cmod_ip.dat'
    
34. file_boss3_ip = path_dat + 'boss3_ip.dat'
    
35. file_boss_ip = path_dat + 'boss_ip.dat'                  
    
36.                   
    
37. 
    
38. #定义函数filter_ip,区分IP输出数据文件
    
39. def filter_ip(file_data):
    
40.     #打开IP文件存入不同列表
    
41.     try:
    
42.         f_bi_ip = file(file_bi_ip, 'r')
    
43.         bi_ip_list = f_bi_ip.readlines()
    
44.         f_bi_ip.close()
    
45.         
    
46.         f_mis_ip = file(file_mis_ip, 'r')
    
47.         mis_ip_list = f_mis_ip.readlines()
    
48.         f_mis_ip.close()
    
49.         
    
50.         f_crm_ip = file(file_crm_ip, 'r')
    
51.         crm_ip_list = f_crm_ip.readlines()
    
52.         f_crm_ip.close()
    
53.         
    
54.         f_intelligent_ip = file(file_intelligent_ip, 'r')
    
55.         intelligent_ip_list = f_intelligent_ip.readlines()
    
56.         f_intelligent_ip.close()
    
57.         
    
58.         f_cmod_ip = file(file_cmod_ip, 'r')
    
59.         cmod_ip_list = f_cmod_ip.readlines()
    
60.         f_cmod_ip.close()
    
61.         
    
62.         f_boss_ip = file(file_boss_ip, 'r')
    
63.         boss_ip_list = f_boss_ip.readlines()
    
64.         f_boss_ip.close()
    
65.         
    
66.         f_boss3_ip = file(file_boss3_ip, 'r')
    
67.         boss3_ip_list = f_boss3_ip.readlines()
    
68.         f_boss3_ip.close()           
    
69.   
    
70.     except IOError:
    
71.         print 'Error：ip_file could not opened!'
    
72.         sys.exit     
    
73.    
    
74.     #只读方式打开数据文件
    
75.     try:
    
76.         f_data = file(file_data, 'r')
    
77.         #filelist=fsock.readlines()
    
78.         #fsock.close()
    
79.     except IOError:
    
80.         print 'Error：data_file could not opened!'
    
81.         sys.exit()
    
82.    
    
83.     #处理数据文件
    
84.     str_title = f_data.readline() #得到标题栏
    
85.    
    
86.     #新建文件以写入数据
    
87.     f_bi_all = file(path_input + 'bi_ip_' + str_date, 'w')   
    
88.     f_mis_all = file(path_input + 'mis_ip_' + str_date, 'w')   
    
89.     f_crm_all = file(path_input + 'crm_ip_' + str_date, 'w')   
    
90.     f_intelligent_all = file(path_input + 'intelligent_ip_' + str_date, 'w')   
    
91.     f_cmod_all = file(path_input + 'cmod_ip_' + str_date, 'w')        
    
92.     f_boss_all = file(path_input + 'boss_ip_' + str_date, 'w')   
    
93.     f_boss3_all = file(path_input + 'boss3_ip_' + str_date, 'w')
    
94.    
    
95.     #写入标题栏
    
96.     f_bi_all.write(str_title)
    
97.     f_mis_all.write(str_title)
    
98.     f_crm_all.write(str_title)
    
99.     f_intelligent_all.write(str_title)
    
100.     f_cmod_all.write(str_title)
     
101.     f_boss_all.write(str_title)
     
102.     f_boss3_all.write(str_title)
     
103.    
     
104.     #数据部分
     
105.    
     
106.     while True:
     
107.         line = f_data.readline()
     
108.         if len(line) == 0: # 文件尾退出
     
109.             break
     
110.         tmp = line.split('|')
     
111.         if(len(tmp) < 4):
     
112.             continue
     
113.         else:
     
114.             tmp = tmp[2] + '\n' #IP文件得到的列表元素都含有一个'\n'
     
115.         if tmp in bi_ip_list:
     
116.             f_bi_all.write(line)
     
117.             continue
     
118.         if tmp in mis_ip_list:
     
119.             f_mis_all.write(line)
     
120.             continue
     
121.         if tmp in crm_ip_list:
     
122.             f_crm_all.write(line)
     
123.             continue
     
124.         if tmp in intelligent_ip_list:
     
125.             f_intelligent_all.write(line)
     
126.             continue
     
127.         if tmp in cmod_ip_list:
     
128.             f_cmod_all.write(line)
     
129.             continue
     
130.         if tmp in boss_ip_list:
     
131.             f_boss_all.write(line)
     
132.             continue
     
133.         if tmp in boss3_ip_list:
     
134.             f_boss3_all.write(line)
     
135.             continue
     
136.    
     
137.     #关闭文件
     
138.     f_data.close() # close the file
     
139.     f_bi_all.close()
     
140.     f_mis_all.close()
     
141.     f_crm_all.close()
     
142.     f_intelligent_all.close()
     
143.     f_cmod_all.close()
     
144.     f_boss_all.close()
     
145.     f_boss3_all.close()     
     
146.      
     
147. #filter_ip函数结束
     
148. 
     
149. 
     
150. #定义filter_port函数
     
151. def filter_port(file_data):
     
152.     #只读方式打开数据文件
     
153.     try:
     
154.         f_data = file(path_input + file_data + str_date, 'r')        
     
155.     except IOError:
     
156.         print 'Error：' + path_input + file_data + str_date + 'could not opened!'
     
157.         sys.exit()
     
158.    
     
159.     #处理数据文件
     
160.     str_title = f_data.readline()
     
161.     str_title = 'user_id|user_name|count|uplen|downlen\n'#得到标题栏
     
162.     #新建文件以写入数据
     
163.     f_port_all = file(path_input + 'all_' + file_data + str_date + '.csv', 'w')
     
164.     f_port_telnet = file(path_input + 'telnet_' + file_data + str_date + '.csv', 'w')
     
165.     f_port_ftp = file(path_input + 'ftp_' + file_data + str_date + '.csv', 'w')
     
166.     f_port_oracle = file(path_input + 'oracle_' + file_data + str_date + '.csv', 'w')
     
167.     f_port_db2 = file(path_input + 'db2_' + file_data + str_date + '.csv', 'w')
     
168.     f_port_1445 = file(path_input + '1445_' + file_data + str_date + '.csv', 'w')   
     
169.    
     
170.     #写入标题栏
     
171.     f_port_all.write(str_title)
     
172.     f_port_telnet.write(str_title)
     
173.     f_port_ftp.write(str_title)
     
174.     f_port_oracle.write(str_title)
     
175.     f_port_db2.write(str_title)
     
176.     f_port_1445.write(str_title)
     
177.    
     
178.     dic_user_all = {} #用字典类保存用户ID-访问次数
     
179.     dic_user_telnet = {}
     
180.     dic_user_ftp = {}
     
181.     dic_user_oracle = {}
     
182.     dic_user_db2 = {}
     
183.     dic_user_1445 = {}
     
184.    
     
185.     dic_username_all = {} #用字典类保存用户ID-用户名
     
186.     dic_username_telnet = {}
     
187.     dic_username_ftp = {}
     
188.     dic_username_oracle = {}
     
189.     dic_username_db2 = {}
     
190.     dic_username_1445 = {}
     
191.    
     
192.     dic_uplen_all = {} #用字典类保存上行数据
     
193.     dic_uplen_telnet = {}
     
194.     dic_uplen_ftp = {}
     
195.     dic_uplen_oracle = {}
     
196.     dic_uplen_db2 = {}
     
197.     dic_uplen_1445 = {}
     
198.    
     
199.     dic_downlen_all = {} #用字典类保存下行数据
     
200.     dic_downlen_telnet = {}
     
201.     dic_downlen_ftp = {}
     
202.     dic_downlen_oracle = {}
     
203.     dic_downlen_db2 = {}
     
204.     dic_downlen_1445 = {}
     
205.         
     
206.     #数据部分   
     
207.     while True:
     
208.         line = f_data.readline()
     
209.         
     
210.         if len(line) == 0: # 文件尾退出
     
211.             break
     
212.         
     
213.         tmp = line.split('|') #取得一行记录字段列表
     
214.         
     
215.         #all
     
216.         if(dic_user_all.has_key(tmp[0])):#所有端口访问次数统计
     
217.             dic_user_all[tmp[0]] += 1
     
218.         else:
     
219.             dic_user_all[tmp[0]] = 1
     
220.         
     
221.         dic_username_all[tmp[0]] = tmp[1]#用户ID与用户名关联
     
222.         
     
223.         if(dic_uplen_all.has_key(tmp[0])):#所有端口上行流量求和
     
224.             dic_uplen_all[tmp[0]] += long(tmp[4])
     
225.         else:
     
226.             dic_uplen_all[tmp[0]] = long(tmp[4])
     
227.         
     
228.         if(dic_downlen_all.has_key(tmp[0])):#所有端口下行流量求和
     
229.             dic_downlen_all[tmp[0]] += long(tmp[5])
     
230.         else:
     
231.             dic_downlen_all[tmp[0]] = long(tmp[5])
     
232.         
     
233.         #telnet
     
234.         if tmp[3] == '23':
     
235.             if(dic_user_telnet.has_key(tmp[0])):
     
236.                 dic_user_telnet[tmp[0]] += 1
     
237.             else:
     
238.                 dic_user_telnet[tmp[0]] = 1
     
239.             
     
240.             dic_username_telnet[tmp[0]] = tmp[1]#用户ID与用户名关联
     
241.             
     
242.             if(dic_uplen_telnet.has_key(tmp[0])):#23端口上行流量求和
     
243.                 dic_uplen_telnet[tmp[0]] += long(tmp[4])
     
244.             else:
     
245.                 dic_uplen_telnet[tmp[0]] = long(tmp[4])
     
246.         
     
247.             if(dic_downlen_telnet.has_key(tmp[0])):#23端口下行流量求和
     
248.                 dic_downlen_telnet[tmp[0]] += long(tmp[5])
     
249.             else:
     
250.                 dic_downlen_telnet[tmp[0]] = long(tmp[5])
     
251.             continue
     
252.         
     
253.         #ftp
     
254.         if tmp[3] == '21':
     
255.             if(dic_user_ftp.has_key(tmp[0])):
     
256.                 dic_user_ftp[tmp[0]] += 1
     
257.             else:
     
258.                 dic_user_ftp[tmp[0]] = 1
     
259.             
     
260.             dic_username_ftp[tmp[0]] = tmp[1]#用户ID与用户名关联
     
261.             
     
262.             if(dic_uplen_ftp.has_key(tmp[0])):#23端口上行流量求和
     
263.                 dic_uplen_ftp[tmp[0]] += long(tmp[4])
     
264.             else:
     
265.                 dic_uplen_ftp[tmp[0]] = long(tmp[4])
     
266.         
     
267.             if(dic_downlen_ftp.has_key(tmp[0])):#23端口下行流量求和
     
268.                 dic_downlen_ftp[tmp[0]] += long(tmp[5])
     
269.             else:
     
270.                 dic_downlen_ftp[tmp[0]] = long(tmp[5])
     
271.             continue
     
272.         
     
273.         #oracle
     
274.         if tmp[3] == '1521':
     
275.             if(dic_user_oracle.has_key(tmp[0])):
     
276.                 dic_user_oracle[tmp[0]] += 1
     
277.             else:
     
278.                 dic_user_oracle[tmp[0]] = 1
     
279.             
     
280.             dic_username_oracle[tmp[0]] = tmp[1]#用户ID与用户名关联
     
281.             
     
282.             if(dic_uplen_oracle.has_key(tmp[0])):#23端口上行流量求和
     
283.                 dic_uplen_oracle[tmp[0]] += long(tmp[4])
     
284.             else:
     
285.                 dic_uplen_oracle[tmp[0]] = long(tmp[4])
     
286.         
     
287.             if(dic_downlen_oracle.has_key(tmp[0])):#23端口下行流量求和
     
288.                 dic_downlen_oracle[tmp[0]] += long(tmp[5])
     
289.             else:
     
290.                 dic_downlen_oracle[tmp[0]] = long(tmp[5])
     
291.             continue
     
292.         
     
293.         #db2
     
294.         if tmp[3] in ('50000','51000','56000','58000','60000'):
     
295.             if(dic_user_db2.has_key(tmp[0])):
     
296.                 dic_user_db2[tmp[0]] += 1
     
297.             else:
     
298.                 dic_user_db2[tmp[0]] = 1
     
299.             
     
300.             dic_username_db2[tmp[0]] = tmp[1]#用户ID与用户名关联
     
301.             
     
302.             if(dic_uplen_db2.has_key(tmp[0])):#23端口上行流量求和
     
303.                 dic_uplen_db2[tmp[0]] += long(tmp[4])
     
304.             else:
     
305.                 dic_uplen_db2[tmp[0]] = long(tmp[4])
     
306.         
     
307.             if(dic_downlen_db2.has_key(tmp[0])):#23端口下行流量求和
     
308.                 dic_downlen_db2[tmp[0]] += long(tmp[5])
     
309.             else:
     
310.                 dic_downlen_db2[tmp[0]] = long(tmp[5])
     
311.             continue
     
312.         
     
313.         #1445
     
314.         if tmp[3] == '1445':
     
315.             if(dic_user_1445.has_key(tmp[0])):
     
316.                 dic_user_1445[tmp[0]] += 1
     
317.             else:
     
318.                 dic_user_1445[tmp[0]] = 1
     
319.             
     
320.             dic_username_1445[tmp[0]] = tmp[1]#用户ID与用户名关联
     
321.             
     
322.             if(dic_uplen_1445.has_key(tmp[0])):#23端口上行流量求和
     
323.                 dic_uplen_1445[tmp[0]] += long(tmp[4])
     
324.             else:
     
325.                 dic_uplen_1445[tmp[0]] = long(tmp[4])
     
326.         
     
327.             if(dic_downlen_1445.has_key(tmp[0])):#23端口下行流量求和
     
328.                 dic_downlen_1445[tmp[0]] += long(tmp[5])
     
329.             else:
     
330.                 dic_downlen_1445[tmp[0]] = long(tmp[5])
     
331.             continue
     
332.     f_data.close()
     
333.         
     
334.     #生成uplen列表并逆排序
     
335.     #get all
     
336.     value_list_uplen_all = dic_uplen_all.values()
     
337.     value_list_uplen_all.sort(reverse=True)
     
338.     value_list_uplen_all = value_list_uplen_all[:11]
     
339.     for user in dic_user_all:
     
340.         if dic_uplen_all[user] in value_list_uplen_all:
     
341.             strtmp = user + '|' + dic_username_all[user] + '|' + str(dic_user_all[user]) \
     
342.             + '|' + str(dic_uplen_all[user]) + '|' + str(dic_downlen_all[user]) + '\n'
     
343.             f_port_all.write(strtmp)
     
344.     f_port_all.close()
     
345.    
     
346.     #get telnet
     
347.     value_list_uplen_telnet = dic_uplen_telnet.values()
     
348.     value_list_uplen_telnet.sort(reverse=True)
     
349.     value_list_uplen_telnet = value_list_uplen_telnet[:11]
     
350.     for user in dic_user_telnet:
     
351.         if dic_uplen_telnet[user] in value_list_uplen_telnet:
     
352.             strtmp = user + '|' + dic_username_telnet[user] + '|' + str(dic_user_telnet[user]) \
     
353.             + '|' + str(dic_uplen_telnet[user]) + '|' + str(dic_downlen_telnet[user]) + '\n'
     
354.             f_port_telnet.write(strtmp)
     
355.     f_port_telnet.close()
     
356.    
     
357.     #get ftp
     
358.     value_list_uplen_ftp = dic_uplen_ftp.values()
     
359.     value_list_uplen_ftp.sort(reverse=True)
     
360.     value_list_uplen_ftp = value_list_uplen_ftp[:11]
     
361.     for user in dic_user_ftp:
     
362.         if dic_uplen_ftp[user] in value_list_uplen_ftp:
     
363.             strtmp = user + '|' + dic_username_ftp[user] + '|' + str(dic_user_ftp[user]) \
     
364.             + '|' + str(dic_uplen_ftp[user]) + '|' + str(dic_downlen_ftp[user]) + '\n'
     
365.             f_port_ftp.write(strtmp)
     
366.     f_port_ftp.close()
     
367.    
     
368.     #get oracle
     
369.     value_list_uplen_oracle = dic_uplen_oracle.values()
     
370.     value_list_uplen_oracle.sort(reverse=True)
     
371.     value_list_uplen_oracle = value_list_uplen_oracle[:11]
     
372.     for user in dic_user_oracle:
     
373.         if dic_uplen_oracle[user] in value_list_uplen_oracle:
     
374.             strtmp = user + '|' + dic_username_oracle[user] + '|' + str(dic_user_oracle[user]) \
     
375.             + '|' + str(dic_uplen_oracle[user]) + '|' + str(dic_downlen_oracle[user]) + '\n'
     
376.             f_port_oracle.write(strtmp)
     
377.     f_port_oracle.close()
     
378.    
     
379.     #get db2
     
380.     value_list_uplen_db2 = dic_uplen_db2.values()
     
381.     value_list_uplen_db2.sort(reverse=True)
     
382.     value_list_uplen_db2 = value_list_uplen_db2[:11]
     
383.     for user in dic_user_db2:
     
384.         if dic_uplen_db2[user] in value_list_uplen_db2:
     
385.             strtmp = user + '|' + dic_username_db2[user] + '|' + str(dic_user_db2[user]) \
     
386.             + '|' + str(dic_uplen_db2[user]) + '|' + str(dic_downlen_db2[user]) + '\n'
     
387.             f_port_db2.write(strtmp)
     
388.     f_port_db2.close()
     
389.    
     
390.     #get 1445
     
391.     value_list_uplen_1445 = dic_uplen_1445.values()
     
392.     value_list_uplen_1445.sort(reverse=True)
     
393.     value_list_uplen_1445 = value_list_uplen_1445[:11]
     
394.     for user in dic_user_1445:
     
395.         if dic_uplen_1445[user] in value_list_uplen_1445:
     
396.             strtmp = user + '|' + dic_username_1445[user] + '|' + str(dic_user_1445[user]) \
     
397.             + '|' + str(dic_uplen_1445[user]) + '|' + str(dic_downlen_1445[user]) + '\n'
     
398.             f_port_1445.write(strtmp)
     
399.     f_port_1445.close()   
     
400. #filter_port函数结束
     
401. 
     
402. 
     
403. #程序体部分
     
404. start_time = time.time()#记录程序开始时间
     
405. #调用filter_ip()函数
     
406. filter_ip(str_file_data)
     
407. #调用filter_port()函数
     
408. filter_port('bi_ip_')
     
409. filter_port('mis_ip_')
     
410. filter_port('crm_ip_')
     
411. filter_port('intelligent_ip_')
     
412. filter_port('cmod_ip_')
     
413. filter_port('boss_ip_')
     
414. filter_port('boss3_ip_')
     
415. #记录程序结束时间
     
416. end_time = time.time()
     
417. #计算程序耗时并输出信息
     
418. used_time = str(end_time - start_time)
     
419. print '成功完成夜间访问记录文件比对操作' + '数据文件日期:' + str_date + ' 程序用时:' + used_time + '秒'
     
420. time.sleep(3)

复制代码