学习与分享——Python自动化运维

睿智2012

正在学习中。…：好想要书，可惜没什么好分享的

donalds2008

1.你是如何学习Python的？看书？看视频？还是？
主要是通过看电子书，所以希望楼主赏本纸质书拜读拜读😊。看过python学习手册，python cookbook。感觉py自带的手册不错，很系统，可惜没时间翻，用到具体模块时翻翻。

2.你工作中有用到Python吗？主要用来做什么？
主要在网络设备资源管理方面写过一些脚本，py里的pexpect、re、mysqldb等模块功能强大，可以实现设备交互、信息提取、结构化存储等功能，快速支撑业务需求。

3.你觉得Python跟其他脚本语言比优势在哪？
对bash，pl，py略懂，也都写过一些工具。个人感觉，py的优势包括：
1）语法简洁。缩进的编码规则使得编码可读性比较高，辅以必要注释，即使较久的脚本也能短时间内进入当时的编码逻辑，加以优化扩展。虽然好的编码规范也能让写出可读性好的pl脚本，但是在先天性方面显然py更佳，也适合团队协作。
2）代码执行效率较高。与bash比，自然有优势。一般开始时侯，主体功能先用bash写完，如果脚本超过100行或者有效率提升、扩展要求，用py重构，特别是一些通用功能以类方式重新整理。
3）自带模块丰富。pl虽有强大的cpan，但是逐一安装模块较麻烦，py则自带许多模块，能省去不少时间。

4.谈谈Python在自动化运维中的应用。
很多开源工具如ganglia，Hadoop都支持py，因此用处广泛。在自动化运维方面，如监控项扩展、报警通知方式、定制报表等方面，都大有发挥空间。

5.给出一个你自己写的Python脚本（最好有详细注释）。
这是我写的一个ETL模块，比较简单，主要用于分析网络设备交互日志，提取关键数据，并入库。
最后面附有模块测试的代码。

1. #!/usr/bin/python
   
2. """
   
3. Script File: port_etl.py                                                               
   
4. Description: The file is a etl module, which used to analyse equiment information, and save this into      
   
5.              Database.                                                                 
   
6. Author: Donalds2008                                                            
   
7. Last Update: 2014.5.16                                                                  
   
8. """
   
9. import re, sys, os
   
10. import pexpect, MySQLdb
    
11. 
    
12. class port_etl():
    
13.              #构造函数
    
14.         def __init__(self, log_file, ip_re, port_re, vlan_re):
    
15.                 self.log_file  = log_file
    
16.                 if not self.check_file( self.log_file ):
    
17.                         print( '%s does not exists!!\n' % self.log_file)
    
18.                         sys.exit()
    
19.                 #导入文件
    
20.                 self.raw_file  = os.path.splitext( self.log_file )[0]
    
21.                 self.vlan_file = '%s.vlan' % self.raw_file
    
22.                
    
23.                 #构造正则式
    
24.                 self.ip_rx     = re.compile(  ip_re  )
    
25.                 self.port_rx   = re.compile( port_re )
    
26.                 self.vlan_rx   = re.compile( vlan_re )
    
27.              #检查文件是否存在
    
28.         def check_file( self, file ):
    
29.                 return True if os.path.exists( file ) else False
    
30.              #使用正则式匹配，并输出
    
31.         def match_write(self):
    
32.                 print('matching...')
    
33.                 self.vlan_fh      = open( self.vlan_file, 'w' )
    
34.                 ( ip, port, vlan) = (None, None, None)
    
35.                 for line in open( self.log_file, 'r' ):
    
36.                         match = self.ip_rx.search( line )
    
37.                         if match != None:
    
38.                                 ip = match.group(1)
    
39.                         match = self.port_rx.search( line )
    
40.                         if match != None:
    
41.                                 port = match.group(1).replace(',', ' ')
    
42.                         match = self.vlan_rx.search( line )
    
43.                         if match != None:
    
44.                                 vlan = match.group(1)
    
45.                                 self.vlan_fh.write( '%s,%s,%s\n' % ( ip, port, vlan ) )
    
46.                 self.vlan_fh.close()
    
47.                 print('match finished.')
    
48.              #写入数据库
    
49.         def db_write(self):
    
50.                 host_db= '127.0.0.1'
    
51.                 usr_db = 'usr'
    
52.                 pwd_db = 'pwd'
    
53.                 sel_db = 'mydb'
    
54.                 print('loading...')
    
55. 
    
56.                 con = MySQLdb.connect( host=host_db, user=usr_db, passwd=pwd_db, db=sel_db)
    
57.                 cur = con.cursor()
    
58.                 last_ip = None
    
59.                 for line in open( self.vlan_file, 'r'):
    
60.                         line = line.strip('\n')
    
61.                         (ip, port, vlan) = line.split(',')
    
62.                         if ip != last_ip:
    
63.                                 cur.execute( "delete from t_ip where ip = '%s'" % ip )
    
64.                                 last_ip = ip
    
65.                         cur.execute( "insert into t_ip values('%s', '%s', '%s')" % (ip, port, vlan) )       
    
66.                 con.commit()
    
67.                 cur.close()
    
68.                 con.close()
    
69.                 self.vlan_fh.close()
    
70.                 print('load finished.')
    
71.         def __del__(self):
    
72.                 self.vlan_fh.close()
    
73. #模块测试
    
74. if __name__ == '__main__':
    
75.         etl = port_etl( r'/log/a.txt',\
    
76.                         r'Connected to ([\d\.]+)\.', \
    
77.                         r'interface xx([\d\/]+)', \
    
78.                         r'multipvc .+ vlan (\d+)')
    
79.         etl.match_write()
    
80.         etl.db_write()
    
81.         del etl
    
82. 
    
83. 
    

复制代码

bfmo

1.你是如何学习Python的？看书？看视频？还是？
    主要是看书（如python核心编程），其次，在实际工作中简单应用，边学边用，遇到问题，去网上找相关解决方式或找朋友讨论。
2.你工作中有用到Python吗？主要用来做什么？
   工作中会用到python，主要数据相关处理方面，项目偶尔会用到，另外，在运维方面会有简单应用。

3.你觉得Python跟其他脚本语言比优势在哪？
  优势有几方面：1，开源，可以免费使用，和产品开发发布没有其他限制。2，代码简洁，简单易用，作为脚本语言，可随意移植。3.可与其他开发语言混合使用，粘接性较强。

4.谈谈Python在自动化运维中的应用。
   python在系统管理上的优势在与强大的开发能力和完整的工具链。python的工程开发能力强大，远强于各种shell和perl。易读易写，兼具面向对象和函数式风格，还有不错元编程能力。通过系统化的将各种管理工具结合，对上述的各类工具进行二次开发，形成统一的服务器管理系统,非常合适运维人员编写一些自动化的软件程序。
  python在服务器管理工具上非常丰富，配置管理(saltstack) 批量执行( fabric, saltstack) 监控(Zenoss, nagios 插件) 虚拟化管理( python-libvirt) 进程管理 (supervisor) 云计算(openstack) ...... 还有大部分系统C库都有python绑定。
对于流程确定的事情，最终一定是纳入系统管理的体系，写成程序，成为系统的一部分。而不是无法复用游离与整体的各种脚本。

5.给出一个你自己写的Python脚本（最好有详细注释）
  
  我曾在异构数据同步项目，数据处理过程中应用到python，

脚本如下：

# -*- coding: utf-8 -*-
import os
os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'
import cx_Oracle
import pymongo
import sys
v_sdb=sys.argv[1]
v_stable=sys.argv[2]
v_tdb=sys.argv[3]
v_ttable=sys.argv[4]

#connection
Conn_mongo=pymongo.Connection('127.0.0.1',30001)
T_mongo='Conn_mongo.'+v_tdb+'.'+v_ttable
#user
Conn_orcl=cx_Oracle.Connection('data_main/yw_data@yewu_1')
cursor_orcl=Conn_orcl.cursor()

sql_2='select * from '+v_sdb+'.'+v_stable

rs2=cursor_orcl.execute(sql_2)
columns=[item[0] for item in rs2.description]
if eval(T_mongo+'.count()')==0:
    for item in rs2:
        data=dict(zip(columns,item))
        exec(T_mongo+".insert(data)")

cursor_orcl.close()
Conn_orcl.close()
Conn_mongo.close()

sohusina

1.你是如何学习Python的？看书？看视频？还是？
看书，一本老书。《python核心编程，第二版》。还是python2.6的。

2.你工作中有用到Python吗？主要用来做什么？
没有，只帮别人做着玩玩。

3.你觉得Python跟其他脚本语言比优势在哪？
简单易学，至少跟perl比要简单些。但是优势很明显，既可以搞web编程，还可以搞系统。哎，为什么php,perl当初放弃了其中一条路呢？

4.谈谈Python在自动化运维中的应用。
这几年python很火，应该能实现很多功能吧。

sohusina

5.给出一个你自己写的Python脚本（最好有详细注释）。
把前几天刚学完python教程写的脚本分享一下吧，注：windows下面要把脚本的相应部分的代码缩进
改写一下即可。

可以查看win32和linux redhat 5下的cpu型号，平台是Python2.6+Django1.1.4

1、新建一个django项目，django-admin.py startproject mysite；
2、修改urls.py，加上

urlpatterns = patterns('',
    # Example:
    # (r'^mysite/', include('mysite.foo.urls')),

    # Uncomment the admin/doc line below and add 'django.contrib.admindocs'
    # to INSTALLED_APPS to enable admin documentation:
    # (r'^admin/doc/', include('django.contrib.admindocs.urls')),

    # Uncomment the next line to enable the admin:
    # (r'^admin/', include(admin.site.urls)),
    url(r'^$','mysite.views.look_page'),
)

3、建立一个views.py,代码如下

1. # -*- coding: utf-8 -*-
   
2. import time
   
3. import os,sys,platform
   
4. from django.http import HttpResponse
   
5. 
   
6. def first_page(request):
   
7.     return HttpResponse('
   
8. Hello World,你好
   
9. ')
   
10. 
    
11. def look_page(request):
    
12.     return HttpResponse('
    
13. cpu 型号是: '+ getcpu()+'
    
14. ')
    
15. 
    
16. def getcpu():
    
17.     sysname=platform.system()
    
18. # if sysname== 'Windows':
    
19. # return getwincpu()
    
20. # else:
    
21.     return getlinuxcpu()
    
22. # return
    
23. 
    
24. #def getwincpu():
    
25. # import win32com.client
    
26. # s=""
    
27. # com=win32com.client.Dispatch("WbemScripting.SWbemRefresher")
    
28. # obj=win32com.client.GetObject("winmgmts:\\root\cimv2")
    
29.            
    
30. # processorItems=com.AddEnum(obj,"Win32_Processor").objectSet
    
31.                
    
32. # com.Refresh()
    
33. # for item in processorItems:
    
34. # s +=item.Name+"\r\n"
    
35. # return s
    
36.          
    
37. 
    
38. def read_cpu():
    
39.     try:
    
40.         fd=open("/proc/cpuinfo",'r')
    
41.         lines=fd.readlines()
    
42.         s=""
    
43.         k=0
    
44.     finally:
    
45.         if fd:
    
46.             fd.close()
    
47.     for line in lines:
    
48.         
    
49.         li=line.split(':')
    
50.         if len(li) > 2:
    
51.             continue
    
52.         if li[0].startswith('model name'):
    
53.             k+=1
    
54.             s+="第"+ str(k) +"个cpu:"+ li[1]
    
55.     return s
    
56. 
    
57. def getlinuxcpu():
    
58.     cpustr=read_cpu()
    
59.     if not cpustr:
    
60.         return "no cpu info"
    
61.     else:
    
62.         return cpustr

复制代码

4、进入django下的项目mysite,运行 python manage.py runserver 8000
5、打开浏览器 http://127.0.0.1:8000 即可看到cpu 型号

fengzhanhai

回复 1# yestreenstars 这个活动好，必须得顶一下！对于运维人员来说学好一种运维自动化脚本语言在以后的求职中绝对是一大亮点，尤其是像python这种模块化、可移植的语言~


   

seesea2517

星辰开始实习啦，要顶一下！

jh417728

http://www.federmanagerquadri.it/fmq/woolrich.asp: I suoi oltre 7 mesi. Cosa posso fare. Come possono confermare che la sua ansia. Chiunque potrebbe farlo a nessuno. Hanno potuto fare questo a me. Vorrei aprire la porta di un agente della DEA.

http://www.fral.it/woolrich.asp: Una volta che si inizia a conoscere l'equipaggio è come avere la tua famiglia prendendo il mickey fuori you.What ti tiene sveglio la notte? Io vivo a Los Angeles così mi preoccupo miei figli non sono così collegati in Gran Bretagna, suppongo che non voglio loro di diventare i bambini americani. Cerchiamo di ottenere indietro tre o quattro volte l'anno. Quando vanno a scuola parlano con un accento americano britannico, ma quando tornano a casa da noi tornano al loro accento inglese, quindi posso fare con that.Do si ottiene detto off per ammorbidire il proprio accento? Sono stato sempre bastone su questo per anni, non è niente di nuovo.

http://www.blitzbovisa.com/shop/feed/woolrichparka.asp: Ho cercato su eBay e altrove per un trench, ma non solo io sono a buon mercato, io sono molto esigente credo quelli allacciati guardano bunchy e quelli non guardano con cintura informe, quindi voglio il genere in cui il nastro si trova proprio in. Si crea un bel look attrezzata. Ho visto questa chiamata cintura inserto sembra avere senso, giusto? Ma, come un termine di ricerca che non salta fuori risultati.

http://www.fsconsult.it/automezzi/woolrich.asp: Mi separai società con il mio medico di 17 anni che ho amato e rispettato. Era stato assolutamente meraviglioso fino ad agosto di allora era quasi come Dr. Jekyll e Mr.

http://www.democentersipe.it/Risorse/master.asp: Sono più facili da usare e rimuovere e l'effetto dura fino al prossimo shampoo. Il vantaggio principale è che assicurano la sicurezza da eventuali danni alla struttura dei capelli e texture. Abbiamo introdotto erbe Mascaras capelli striature per i capelli, per aggiungere glamour, o camuffare i capelli grigi.

CUTianrui007

1.你是如何学习Python的？看书？看视频？还是？
看书，这样比较快，看视频太浪费时间了，且视频 讲得都太简单了。
我爱问为什么，很少有视频会讲解为什么。所以看视频也记不住。


2.你工作中有用到Python吗？主要用来做什么？
Python太有用了，几乎天天用，我是做汽车电子软件开发的，

A：软件发布时要用到ROM/RAM统计，我就是写Python脚本实现的。
另外，
B：给客户发布特殊的上位机程序时，也使用Python ctypes调用DLL
函数，控制CANcase（汽车总线监控工具），然后将Python脚本再通过
py2exe转化为单独的Exe文件发给客户，这样客户就可以脱离Python环境运行。

C:工作需要，要给另外一个供应商提供二进制BIN文件，此文件就客户要求有特殊的格式，
要从生成的HEX或ELF文件中提取数据生成BIN文件，我也是用Python实现的。

Python很犀利的。

3.你觉得Python跟其他脚本语言比优势在哪？
以前学过Perl，后来公司来了新人用Python我也跟着用了。
记得特别清楚的一个区别是：Python的字符串可以直接做切片操作，而Perl不行，Perl要将字符串转化为
序列才可以做切片。这一点很让人不舒服。

Perl的安装太麻烦了，也没有好的调试工个。现在我用PyScripter来调试Python，强啊。

另外，Python类库太强大了，可以直接操作WindowsAPI函数，调用DLL，这一点Perl不能比。

Python在网络方面应用极多，语言简单精炼。


4.谈谈Python在自动化运维中的应用。
喜欢上一本书《编程狂人》，本书每周二发布一期，但是每次要手动下载，比较麻烦，就
写了个Python脚本自动从网页丰爬取书。


5.给出一个你自己写的Python脚本（最好有详细注释）。

# -*- coding: utf-8-*-
#此脚本用于提取S19数据，并生成到单独文件中
import os, sys
#定义列表接收处理后的数据
gAllLineList = []
#生成文件
fOut = open("FlashDriver.c","w")
#打开文件
fS19 = open("ReleaseFlashDriver.s19",'r')
#遍历文件每一行
for eachLine in fS19:
    #S19文件格式
    #S3 19 FEDE8000 01 32 20 3E 35 05 A6 39 00 00 E0 39 DA FD 7F 00 20 3E 01 00 12
    #将此行的数据部分存储到列表中
    gAllLineList.append(eachLine[12:-3])

#将列表写入到文件中，并在最后添加\表示换行
for eachItem in gAllLineList:
    fOut.write(eachItem +"\\")
    fOut.write("\n")
#关闭文件
fS19.close()
fOut.close()

niao5929

python语言在LINUX的上层系统里经常都能看到。很多的脚步也都是用PYTHON来编写的。并且这东西本身的自由和开源可以让我们很容易就知道代码的具体功能。很值得深入学习和研究。