学习与分享——Python自动化运维

expert1

回复 1# yestreenstars


    急需此书，给个机会哦。  我感觉在运维中，bash可以完成90%的功能，除非涉及到API.模块等，而且极其简明清晰。python可以根据需要慢慢练手久了就熟悉了。此外python强大的地方就是有模块，各种各样的模块。

honghs

1.你是如何学习Python的？看书？看视频？还是？
看电子书，视频太花时间了

2.你工作中有用到Python吗？主要用来做什么？
工作中用到的python也不多。主要是做系统管理，小工具之类的

3.你觉得Python跟其他脚本语言比优势在哪？
linux默认安装有python,可以跨平台。

4.谈谈Python在自动化运维中的应用。
正在研究自动化运维。向天斯学习吧，原来在帝都那边，在电梯里边经常见到天斯，可惜没机会认识啊
5.给出一个你自己写的Python脚本（最好有详细注释）。

1. #取数据库里边的网关参数，尝试连接各个网关，其实就是特定的ip和端口啦。
   
2. 
   
3. #Check GateWay Port
   
4. #-*-coding:utf-8-*-
   
5. import cx_Oracle
   
6. import os
   
7. import sys
   
8. import logging
   
9. import logging.handlers
   
10. import socket
    
11. 
    
12. from configobj import ConfigObj
    
13. 
    
14.    
    
15. #get Oracle Connect
    
16. def getOraConnect(user,password,serer,port,sid):
    
17.     try:
    
18.         oraConnect = cx_Oracle.connect(user,password,serer+':'+port+'/'+sid)        
    
19.         if oraConnect!=None:
    
20.             return oraConnect
    
21.         else:
    
22.             return None
    
23.     except Exception,ex:  
    
24.         print ex.message
    
25.         logging.warn(ex.message)
    
26.                
    
27. 
    
28. def connectServer(ip,port,timeout=10):
    
29.     #test server
    
30.     sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
    
31.     sk.settimeout(timeout)
    
32.     try:
    
33.         sk.connect((ip,port))  
    
34.         return True
    
35.     except Exception,ex:
    
36.         logging.warn(ex.message)   
    
37.         return False
    
38.     finally:
    
39.         sk.close()
    
40.    
    
41. def checkGaetWay(oraConn):
    
42.     #get GateWay Prameters
    
43.     gwserver=[]
    
44.     gwDict={}
    
45.     channelid=""
    
46.     gateWayIP=""
    
47.     gateWayName=""
    
48.     gateWayPort=0   
    
49.     gateWaySql="""
    
50.     SELECT b.id,
    
51.   b.channelname,
    
52.   CASE c.fieldname
    
53.     WHEN '网关端口号'
    
54.     THEN 'PORT'
    
55.     WHEN '网关端口'
    
56.     THEN 'PORT'
    
57.     WHEN '网关地址'
    
58.     THEN 'IP'
    
59.     WHEN '数据库IP'
    
60.     THEN 'IP'
    
61.     WHEN '数据库端口号'
    
62.     THEN 'PORT'
    
63.     WHEN '数据库端口'
    
64.     THEN 'PORT'
    
65.     WHEN '网关下行端口'
    
66.     THEN 'PORT'
    
67.     ELSE c.fieldname
    
68.   END AS fieldname ,
    
69.   a.value
    
70. FROM t_gateway_params A
    
71. INNER JOIN v_channel B
    
72. ON B.id=a.channelid
    
73. INNER JOIN t_gateway_metadata c
    
74. ON c.id          =a.gatewaymetadataid
    
75. AND c.fieldname IN ('网关地址','网关端口号','数据库IP','数据库端口','网关端口','数据库端口号','网关下行端口')
    
76. ORDER BY a.channelid
    
77.                    """
    
78.     oracur = oraConn.cursor()
    
79.     oracur.execute(gateWaySql)   
    
80.     orars = oracur.fetchall()
    
81.     rowcount  = oracur.rowcount
    
82.     if rowcount>0:
    
83.         for rs in orars:
    
84.             channelid= rs[0]
    
85.             gateWayName=rs[1]
    
86.             if gwDict.has_key(channelid):            
    
87.                 gwServer = gwDict[channelid]
    
88.                 if (str(rs[2])=="IP"):
    
89.                     gwServer[1]= str(rs[3])
    
90.                 if (str(rs[2])=="PORT"):
    
91.                     gwServer[2]=int(rs[3])
    
92.                 gwDict[channelid]= gwServer                  
    
93.             else:
    
94.                 gwServer = [gateWayName,"127.0.0.1",0]               
    
95.                 if (str(rs[2])=="IP"):
    
96.                     gwServer[1]= str(rs[3])
    
97.                 if (str(rs[2])=="PORT"):
    
98.                     gwServer[2]=int(rs[3])               
    
99.                 gwDict[channelid]= gwServer
    
100.        #   
     
101.         print 'All GateWay Connect Test Begin..'     
     
102.         logging.info('All GateWay Connect Tes Begin..'     )
     
103.         for gw in gwDict:
     
104.             gwServer=gwDict[gw]
     
105.             gateWayName= gwServer[0]
     
106.             gateWayIP= gwServer[1]
     
107.             gateWayPort=gwServer[2]
     
108.             if connectServer(gateWayIP, gateWayPort,5):
     
109.                     print "connect to %s ,ip %s ,port %s success" %(gateWayName,gateWayIP,gateWayPort)
     
110.                     logging.info("connect to %s ,ip %s ,port %s success" %(gateWayName,gateWayIP,gateWayPort))
     
111.             else:
     
112.                 print "connect to %s ,ip %s ,port %s fail" %(gateWayName,gateWayIP,gateWayPort)            
     
113.                 logging.warn("connect to %s ,ip %s ,port %s fail" %(gateWayName,gateWayIP,gateWayPort) )
     
114.         print 'All GateWay Connect Test End...'      
     
115.         logging.info('All GateWay Connect Tes End..'     )
     
116.     else:
     
117.         print "Can't Get GateWay Parameters..."
     
118.         logging.warn("Can't Get GateWay Parameters...")
     
119.    
     
120.    
     
121. 
     
122. 
     
123. def main():
     
124.     #get oracle config
     
125.     orauser=configobj["orauser"]
     
126.     orapassword=configobj["orapassword"]
     
127.     oraserver=configobj["oraserver"]
     
128.     oraport=configobj["oraport"]
     
129.     orasid=configobj["orasid"]
     
130.    
     
131.     logging.info("Check GateWay Begin...")
     
132.     oraConn = getOraConnect(orauser, orapassword, oraserver, oraport, orasid)
     
133.     if oraConn!=None:
     
134.         checkGaetWay(oraConn)
     
135.         oraConn.close()
     
136.     logging.info("Check GateWay End...")   
     
137. 
     
138. if __name__=="__main__":
     
139.     configobj=ConfigObj("CheckGateWay.conf")
     
140.     logging.basicConfig(filename='CheckGateWay.log',level=logging.DEBUG)        
     
141.     os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'
     
142.     main()
     
143.    
     

复制代码

honghs

为何我发的全部变成表情了

yestreenstars

回复 71# honghs

感谢分享，代码请放在代码框里，代码框在如下图所示的红框中：
   

honghs

谢谢，改成code了。

芬达7402

expert1 发表于 2014-11-30 11:43
回复 1# yestreenstars

完全赞同这位兄弟的观点。说说我的观点：
1 扩展性好
1）python的强大之处在于扩展性方面，有n多的库可以调用，很多你需要的功能已经有现成的库能实现，无需重复造轮子。
2）跨平台。
3）语法固定，适合大家协作，利于后期的迭代和维护。

2 对新手来说，除非你有编程和面向对象的基础，否则也没那么容易上手。至少当年我学习的时候就这个感觉，就知道import先用起来，但不知道里面的实现原理。还有快速查找模块，函数的帮助文档这些方面不如man来的直接方便。

3 语言的重要之处是要常用，如果光看文档，写的少，那还是不能灵活掌握的。如这位兄弟所言，日常的运维工作用shell就够了。有时候闲下来自己去用python来实现shell脚本的功能，不是用python简单封装shell，而是重构，找找有没有python的函数或者模块能实现类似的功能。有没有效率上的提升。这样做也算是一种进一步认识python的方法。

liubao0312

1.你是如何学习Python的？看书？看视频？还是？
答： 我是通过PDF 和  英文文档 学习的Python

2.你工作中有用到Python吗？主要用来做什么？
答： 在工作中暂时用不到Python，学习Python的主要原因是为了给自己充电；  开发web新项目，主要还是对它有浓厚兴趣；

3.你觉得Python跟其他脚本语言比优势在哪？
答： 简洁，易读性好、可移植性、跨平台、效率高、可用性强、写脚本（但 对于写脚本来说，还是shell最专长）、开发，尤其是web开发（比如：Django） 等等；

4.谈谈Python在自动化运维中的应用。
答：监控，批量管理和部署平台，以及对hadoop的流程化工具；

5.给出一个你自己写的Python脚本（最好有详细注释）。

1. #!/usr/bin/env python
   
2. 
   
3. import time
   
4. import sys
   
5. 
   
6. if len(sys.argv) > 1:
   
7.     INTERFACE = sys.argv[1]
   
8. else:
   
9.     INTERFACE = 'eth0'
   
10. 
    
11. STATS = []
    
12. print 'Interface:', INTERFACE
    
13. 
    
14. def rx():
    
15.     ifstat = open('/proc/net/dev').readlines()
    
16.     for interface in ifstat:
    
17.         if INTERFACE in interface:
    
18.             stat = float(interface.split()[1])
    
19.             STATS[0:] = [stat]
    
20. 
    
21. def tx():
    
22.     ifstat = open('/proc/net/dev').readlines()
    
23.     for interface in ifstat:
    
24.         if INTERFACE in interface:
    
25.             stat = float(interface.split()[9])
    
26.             STATS[1:] = [stat]
    
27. 
    
28. print ' In              Out'
    
29. rx()
    
30. tx()
    
31. 
    
32. while True:
    
33.     time.sleep(1)
    
34.     rxstat_o = list(STATS)
    
35.     rx()
    
36.     tx()
    
37.     RX = float(STATS[0])
    
38.     RX_0 = rxstat_o[0]
    
39.     TX = float(STATS[1])
    
40.     TX_0 = rxstat_o[1]
    
41.     RX_RATE = round((RX - RX_0)/1024/1024,3)
    
42.     TX_RATE = round((TX - TX_0)/1024/1024,3)
    
43.     print RX_RATE, 'MB          ', TX_RATE, 'MB         '
    
44. 
    
45. 注：
    
46. read() ：每次读取整个文件，通常用于将 文件内容 放到一个字符串变量中；
    
47. .read()： 生成文件内容最直接的字符串表示，但对于连续的面向行的处理 不是必要的；
    
48.           且如果文件大于可用内存，则不可能实现此处理；
    
49. 
    
50. readline()： 与readlines()不同的是，只能每次读取一行，且速度很慢；
    
51.              仅当没有足够内存可以一次读取整个文件时，才应该使用.readline() ；
    
52. 
    
53. readlines()： 一次读取整个文件，自动将文件内容分析成一个行的列表，该列表可有Python的for...in...结构进行处理；  速度快；

复制代码

caoshanhu

赞一个~

ffsx

绝世好文，不得不顶

ylky_2000

大学时经常浏览天涯、海南居然有个一个强大的社区。后来进入IT行业后，才了解到这么一个超高PV的网站的后台运维风云人物刘，那时候就在自行开发运维系统，后来跳到腾讯。人生经历值得我们学习，期待佳作。
  你是如何学习Python的？看书？看视频？还是？
   没有经常直接借助PYTHON，一般都是通过基于PYTHON开发的现有开源工具引入实际的工作中。帮助巨大，后面会挑一个例子来说明。 实质接触PYTHON语言开发时间不长，目前在学习阶段（已到函数部分），对比之前学习的php，感觉最明显的时候python的格式化编程风格，会把你的程序看起来层次分明，一下子高大上了许多，从根本上解决了编程习惯不太好的开发者。视频方面也有看不过效果一般，还是习惯看纸张的书，效率高。
     下面来说说工作中接触到的基于python开发的工具。 saltstack，有两点比较看重配置管理+远程执行，目前业界讨论较多的puppet没实战经验，不好比较太多。 用saltstack+git管理了大概15台设备git 作为前端版本控制，saltstack作为状态检查和命令执行来使用，非常好，也有可能我习惯了吧。通过这个实际的应用来说明给我带来的价值吧。
       最希望了解的：工作思路慢慢开始换位思考，开始从自己知道转到让你的主管部门或者其他监督部门知道了解运行状况和带来的价值。希望通过python开发一个图文并茂的报告系统，主要反映系统运行状态。如硬盘的io情况、带宽利用率、会话情况、cpu和内存的具体情况、数据库进程甚至具体到一条数据库语句的运行时占用的时间和资源情况。说的比较笼统，挑几个具体说明下价值。
       例子1，公司有个协同平台，里面有个电子公文管理模块，最近经常有人反映打开公文反映慢，那怎么样直观生动的体现电子公文模块的运行情况呢？定位到慢的具体原因？如是硬盘读写不行了？数据库需要优化了？还是网络带宽不够了？还是图片附件太大加载花了太多时间等等，需要找到实际的监控数据来佐证可能性，根据这些佐证来为以后的优化提供方向。大家都知道采购设备升级现有的系统，是要有为什么要采购的。
       例子2：通过专业互联的公司网络突然中断，老大需要定位此次事故原因，积累运维经验。假如本次事故是人为误操作引起，那怎么确定是人为误操作呢？网络设备稍大的公司交换机n多台，如果有交换机的操作日志的话，这个问题就好办了。利用python开发一个日志收集系统，不需要登录到n台设备上进行查询（另，大部分交换机重启后日志是不保留在交换机中的），可以定位到哪个用户登录，分别执行了什么操作。如果你查询刚好发现a用户登录，刚好他在上联端口上执行了一个shutdown。那就比胡乱猜测是否高效并有说服力的多呢？
   在本书中，希望了解Python的内容：
  第14章　打造Linux系统安全审计功能
     公司有上市打算，想在这个方面学习下。
  第16章　构建桌面版C/S自动化运维平台
     刚好跟我的想法有碰撞，想深入的系统的学习了解下。
  第10章　集中化管理平台Saltstack详解
    刚好有过简单的使用，向大牛门学习他们的经验，估计会很有收获。
第3章　定制业务质量报表详解
    我们目前使用的ntop+cacti做的。感觉离理想的差太多了。

平时也在测试国内一个企业版的卫士（主要是免费嘛）。不过心理没普，跟想要的还是有很大的差距，毕竟这个是侧重终端的情况管理。