学习与分享——Python自动化运维

圣西罗门柱

1.你是如何学习Python的？看书？看视频？还是？
买了一本python学习手册第4版，看了俩月，略有入门。其他就是根据自己的需求在网上搜相关的资源了。

2.你工作中有用到Python吗？主要用来做什么？
python主要是抓取cacti的监控图，因为每周要把监控图汇总成文档。

3.你觉得Python跟其他脚本语言比优势在哪？
python相对于shell来讲，可用的库更多，更加的灵活

4.谈谈Python在自动化运维中的应用。
可以利用python进行批处理，对大数据也有帮助

5.给出一个你自己写的Python脚本（最好有详细注释）
当时为朋友写的一个抓菜谱的程序，url可以改成批量，写的不好，见谅，求星辰大神赐书！

1. #encoding=utf-8
   
2. import urllib2
   
3. import re
   
4. import smtplib
   
5. from email.mime.text import MIMEText
   
6. from email.mime.multipart import MIMEMultipart
   
7. ''''A=[]
   
8. B=[]
   
9. page='您访问的页面不存在'''
   
10. '''url='http://home.meishichina.com/recipe-192222.html'''
    
11. 
    
12. def menu(url):
    
13.     A=[]
    
14.     B=[]
    
15.     page='您访问的页面不存在'
    
16.     try:
    
17.         headers={'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
    
18.         res=urllib2.Request(url,headers=headers)
    
19.         response=urllib2.urlopen(res).read()
    
20.         #print response
    
21.         #Python正则匹配中文
    
22.         ############################
    
23.         context=re.search(ur"[\u4e00-\u9fa5]+",response.decode('utf-8'))#Python正则匹配中文
    
24.    
    
25.         #print context.group(0)
    
26.         #############################
    
27.         if context.group(0)==page:
    
28.             print 'Page not found!'
    
29.             #<h2 class="recipe_De_title"><a href="#" id="recipe_title">烤孜然排骨</a></h2>  
    
30.         else :
    
31.             resultname=re.findall(ur'<h2 class="recipe_De_title"><a href="#" id="recipe_title">([\u4e00-\u9fa5]+)</a></h2>',response.decode('utf-8'))
    
32.             for i in resultname:
    
33.                 name=i.encode('utf-8')
    
34.                 name=name.encode('cp936')
    
35.         
    
36.         
    
37.                 resultcontent=re.findall(ur'<li><span class="category_s1">([\u4e00-\u9fa5]+)</span><span class="category_s2">\(.*\)</span></li>',response.decode('utf-8'))
    
38.                 for m in resultcontent:
    
39.                     content=m.encode('utf-8')
    
40.                     A.append(m.encode('utf-8'))
    
41.       
    
42.         
    
43.                 resultcook=re.findall(ur'<li><span class="category_s1">([\u4e00-\u9fa5]+)</span></li>',response.decode('utf-8'))
    
44.                 for v in resultcook:
    
45.                     cook=v.encode('utf-8')
    
46.             
    
47.                 resultstep=re.findall(ur'<div class="recipeStep_word">(.*)</div>',response)
    
48.                 for x in resultstep:
    
49.                     B.append(x.encode('utf-8'))
    
50.             
    
51.         
    
52.         
    
53.                 file=open('D:\\Program\\menu\\'+name+'.txt','w')
    
54.                 n=0
    
55.                 file.write('食材\n'+'-'*10+'\n')
    
56.                 while n<len(A):
    
57.             
    
58.                     file.write(A[n]+'\n')
    
59.                     n+=1
    
60.                 else:
    
61.                     file.write("-"*10+"\n厨具\n")
    
62.                     file.write(cook)
    
63.                     file.write('\n'+'-'*10+'\n')
    
64.                     #file.write("-"*10+"\n制作步骤\n")
    
65.             
    
66.         
    
67.             
    
68.             
    
69.         
    
70.                 m=0
    
71.                 while m<len(resultstep):
    
72.                     file.write(B[m]+'\n')
    
73.                     m+=1
    
74.                 else:
    
75.                     file.close()
    
76.     except urllib2.HTTPError as e:
    
77.         print e.code
    
78.         
    
79. 
    
80. def sendmail(to_list,sub,result):
    
81.     headers={'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}
    
82.     res=urllib2.Request(url,headers=headers)
    
83.     response=urllib2.urlopen(res).read()      
    
84.     resultname1=re.findall(ur'<h2 class="recipe_De_title"><a href="#" id="recipe_title">([\u4e00-\u9fa5]+)</a></h2>',response.decode('utf-8'))
    
85.     for i in resultname1:
    
86.         name=i.encode('utf-8')
    
87.         name=name.encode('cp936')
    
88.    
    
89. 
    
90.     me=mail_user+"<"+mail_user+"@"+mail_postfix+">"
    
91. 
    
92.     '''msg = MIMEText(result)'''
    
93.     #创建一个带附件的实例
    
94.     msg = MIMEMultipart()
    
95. 
    
96.     #构造附件1
    
97.     att1 = MIMEText(open('D:\\Program\\menu\\'+name+'.txt', 'rb').read(), 'base64', 'gb2312')
    
98.     att1["Content-Type"] = 'application/octet-stream'
    
99.     #att1["Content-Disposition"] = 'attachment; filename="stock.txt"'#这里的filename可以任意写，写什么名字，邮件中显示什么名字
    
100.     att1["Content-Disposition"] = 'attachment; filename="menu.txt"'
     
101.     msg.attach(att1)
     
102. 
     
103.     msg['Subject'] = sub
     
104.     msg['From'] = me
     
105.     msg['To'] = ";".join(to_list)
     
106.     try:
     
107.         s = smtplib.SMTP()
     
108.         s.connect(mail_host)
     
109.         s.login(mail_user,mail_pass)
     
110.         s.sendmail(me, to_list, msg.as_string())
     
111. 
     
112.         s.close()
     
113.         return True
     
114.     except Exception, e:
     
115.         print str(e)
     
116.         return False
     
117. 
     
118. if __name__=='__main__':
     
119.     url='http://home.meishichina.com/recipe-192222.html'
     
120.     result=menu(url)
     
121.    
     
122.     mailto_list=["。。。。@qq.com",'。。。。@qq.com']
     
123.     #####################
     
124. 
     
125.     mail_host="smtp.126.com"
     
126.     mail_user="。。。"
     
127.     mail_pass="。。。"
     
128.     mail_postfix="126.com"
     
129.     sendmail( mailto_list,"menu",result)

复制代码

yestreenstars

回复 50# blackold

感谢黑哥支持~{:3_193:}
   

niao5929

回复 42# yestreenstars
体会不深，维护级别的，不过觉得PYTHON真的很棒。当年关注它就是首先它是个真正的自由开源语言。这样不会被过度的商业化而失去科学该有的自由和开放。所以才觉得好好学学的。包括GO语言也是这样。我个人一直推崇使用真正的自由开源软件和系统。从用户安全的角度来看，自由开源软件和系统给用户提供了更高的安全级，因为代码的开放，我们可以反向工程出这些代码的作用，也知道了计算机系统所有的行为。这些在闭源系统中是没有的。


   

luomahu22

1.你是如何学习Python的？看书？看视频？还是？
开始学习是由于任务紧急，报了个线上视频班，速度快但是学的不深入，后来就抱着《简明python教程》，看一些模块代码。
2.你工作中有用到Python吗？主要用来做什么？目的是把现有日常运维繁杂的工作释放出来，做了一套线上自动发布系统，把发布任务外发到测试部门
3.你觉得Python跟其他脚本语言比优势在哪？
比起shell优势是socket编程，大量现成模块可以用，可以方便地实现shell完成不了的事情
4.谈谈Python在自动化运维中的应用。
我们主要用在自动化发布系统中C/S通信
5.给出一个你自己写的Python脚本（最好有详细注释）。
#! /usr/bin/env python
'''
先拷贝需要备份的文件，再压缩文件
'''
import os
import os.path
import sys
import shutil
import time

### 需要备份的文件start
source = '/www'

config = ['.vimrc',
          '/etc/profile']

data = ['java',
        'web_server',
        'NFS']

all = config + data
### 需要备份的文件end
def copy_file(source, target_dir):
    '对比文件，如果目标文件不存在或者还是源文件新，则拷贝或覆盖文件。'

    # 如果路径有前缀 '/'，则先将其去除。
    target = os.path.join(target_dir,
                          source[:1] == '/' and source[1:] or source)
    if not os.path.exists(target):
        dir, name = os.path.split(target)
        if not os.path.exists(dir):
            os.makedirs(dir)
        shutil.copy(source, target)
        print 'Backup', source
    elif os.path.getmtime(source) > os.path.getmtime(target):
        shutil.copy(source, target)
        print 'Backup', source

def copy_dir(top, target_dir):
    '递归地利用 copy_file 函数进行文件夹的拷贝。'

    for root, dirs, files in os.walk(top):
        for file in files:
            filepath = os.path.join(root, file)
            copy_file(filepath, target_dir)
if __name__ == '__main__':
    if (len(sys.argv) == 2 and sys.argv[1] != '-m') or len(sys.argv) > 2:
        print '''
Usage: backup.py [-m]
       加入 -m 参数则将 tar 文件移动到 /BACK_UP 分区中。'''
        sys.exit(1)

    # 临时存放需要备份的文件，便于打包。
    tmp_dir = 'backup'

    # 备份文件的保存路径。
    bkpath = '/BACK_UP'

    date = time.strftime('%y-%m-%d')
    os.chdir(source)
    for source in all:
        if os.path.isfile(source):
            copy_file(source, tmp_dir)
        else:
            copy_dir(source, tmp_dir)

    os.system('tar -czf %s.tar.gz %s' % (date, tmp_dir))
    if len(sys.argv) == 2 and sys.argv[1] == '-m':
        os.system('mv %s.tar.gz %s' % (date, bkpath))


   

wwenyunkui2013

我还是个linux新手，系统管理还是十分生疏，对一些语言知之甚少

zsszss0000

表示不会python，但是也想学习学习python,感觉现在的python非常的火爆啊

dc222222222

回复 45# yestreenstars

呵呵，套用之前跟别人夸python时候说过“玩得了linux，搞的定windows，写的了html，发的了数据包”， 鉴于我是python的脑残粉，星辰大神，赐神书于我吧。

   

yestreenstars

回复 57# dc222222222
最后会综合考虑的~{:3_193:}

   

ultrasurf

1.你是如何学习Python的？看书？看视频？还是？
看书，看视频太慢了
2.你工作中有用到Python吗？主要用来做什么？
编写运维脚本
3.你觉得Python跟其他脚本语言比优势在哪？
比shell容易掌握，语法比较自然
4.谈谈Python在自动化运维中的应用。
主要编写监控脚本
5.给出一个你自己写的Python脚本（最好有详细注释）。
读取磁盘利用率的小函数

1. def getDiskUsageByMountPoint(MountPoint):
   
2.         try:
   
3.                 cmd = "df -P | grep "+MountPoint
   
4.                 res = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True)
   
5.                 DiskInfo = res.communicate()[0].split("\n")
   
6.                 for DiskLine in DiskInfo:
   
7.                         if len(DiskLine) == 0 :
   
8.                                 break
   
9.                         DiskItem = DiskLine.split()
   
10.                         if (DiskItem[0].strip() == "Filesystem"):
    
11.                                 continue
    
12.                         elif (DiskItem[5].strip() != MountPoint):
    
13.                                 continue
    
14.                         MountName = DiskItem[5].strip()
    
15.                         MountUsage = DiskItem[4].strip()
    
16.                         MountFree = DiskItem[3].strip()
    
17.                         MountUsed = DiskItem[2].strip()
    
18.                         MountSize = DiskItem[1].strip()
    
19.                 return (MountName,MountSize,MountUsed,MountFree,MountUsage)
    
20.         except Exception, e:
    
21.                 #print e
    
22.                 return ("ERROR","ERROR","ERROR","ERROR","ERROR")

复制代码

bulletmarquis

回复 1# yestreenstars


    星辰也开始搞这些了啊，必须捧场。。


1.你是如何学习Python的？看书？看视频？还是？
在网上找几段现成的代码，各种乱查资料，基本理解以后，自己重写一遍
然后不停的尝试添加功能进去，以某几段功能代码为核心，慢慢扩展开来进行练习

2.你工作中有用到Python吗？主要用来做什么？
工作本身用不到python，只是纯粹个人兴趣
做一些CS版小工具，比如EXCEL解析，接口维护工具，自动化测试工具，数据库加固等
大部分是PYQT+SQLITE

3.你觉得Python跟其他脚本语言比优势在哪？
PYTHON的特性很好
强制缩进，对我这种强迫症患者来说特别舒服
一个问题只有一个解决方案，学习起来很方便
再就是python的语法不算太啰嗦，如果不考虑编码转换的话。。。

4.谈谈Python在自动化运维中的应用。
我做过的自动化测试、数据库加固脚本这些，只能算是对自动化运维的初步接触，不了解不敢乱说

5.给出一个你自己写的Python脚本（最好有详细注释）。
写的都是工作脚本，不太适合贴论坛上