【有奖讨论】linux操作系统工作利器：shell编程知多少？

tomac_cu

#!/bin/sh
postqueue -p | grep $1 | cut -c 1-12 | xargs -n 1 postsuper -d


用户弱密码被人攻破，队列中暴多的垃圾邮件，用以上脚本可以删除postfix中指定来源的邮件

sky_eminem

无他 唯手熟尔！

Let_it_go

严重帮顶

o枫叶o飘零

1、请分享你是如何学习bash shell的？入门主要看过哪些书？
没有系统的学习过bash    
入门的时候  就看了man手册（基本语法）    和正则表达式必知必会


2、请分享你在工作当中编写过的一个shell脚本实例。
ubuntu下安装zabbix

1. #!/bin/bash
   
2. server_ip=`ifconfig|grep -oP '(?<=inet addr:)\S+'|head -1`
   
3. Hostname=`cat /etc/hostname`
   
4. user_name=`whoami`
   
5. if [ $user_name != root ];then
   
6. echo "请切换到root用户下执行"
   
7. exit 0
   
8. fi
   
9. 
   
10. #切到/tmp目录下
    
11. cd /tmp
    
12. 
    
13. #下载安装包
    
14. if [ ! -f zabbix-2.4.3.tar.gz ];then
    
15. echo "zabbix安装包不存在,尝试下载中..."
    
16. wget http://sourceforge.net/projects/zabbix/files/ZABBIX%20Latest%20Stable/2.4.5/zabbix-2.4.5.tar.gz
    
17. if [ ! -f zabbix-2.4.3.tar.gz ];then
    
18. echo "安装包下载失败,退出安装"
    
19. exit 0
    
20. fi
    
21. fi
    
22. md5=`md5sum zabbix-2.4.3.tar.gz |awk '{print $1}'`
    
23. if [ $md5 != e8a0699c4e49999a15c63650a2280600 ];then
    
24. echo "文件的md5值不一致"
    
25. exit 1
    
26. fi
    
27. if [ ! -f libxml2-2.6.23.tar.bz2 ];then
    
28. echo "libxml2安装包不存在，尝试下载中..."
    
29. wget http://down1.chinaunix.net/distfiles/libxml2-2.6.23.tar.bz2
    
30. if [ ! -f libxml2-2.6.23.tar.bz2 ];then
    
31. echo "安装包下载失败,退出安装"
    
32. exit 0
    
33. fi
    
34. fi
    
35. command -v make >/dev/null 2>&1 || apt-get -y install make
    
36. command -v gcc >/dev/null 2>&1 || apt-get -y install gcc
    
37. #先设置mysql密码，为了后面安装mysql时不需要手动输入
    
38. echo -e "debconf mysql-server/root_password password yunrun\ndebconf mysql-server/root_password_again password yunrun">/tmp/mysql-passwd
    
39. debconf-set-selections /tmp/mysql-passwd
    
40. 
    
41. #安装和配置PHP环境
    
42. apt-get install make cmake gcc g++ autoconf apache2 php5 php5-gd php5-ldap php5-xmlrpc php5-mysql mysql-server-5.5 libmysqlclient-dev libxml2 libcurl4-openssl-dev snmp libsnmp-dev -y
    
43. #安装中文环境
    
44. apt-get -y install language-pack-zh-han*
    
45. sed -i 's/post_max_size = 8M/post_max_size = 16M/g;s/max_execution_time = 30/max_execution_time = 300/g;s/max_input_time = 60/max_input_time = 300/g;s/;date.timezone =/date.timezone = Asia\/Shanghai/g' /etc/php5/apache2/php.ini
    
46. 
    
47. #源码安装libxml2,因为apt-get源安装的libxml2不能在/usr/local/lib/目录下生成libxml2*等模块
    
48. tar jxvf libxml2-2.6.23.tar.bz2
    
49. cd libxml2-2.6.23/
    
50. sed -i 's#O_WRONLY)#O_WRONLY,0777)#g' nanohttp.c
    
51. ./configure
    
52. make
    
53. make install
    
54. cd /tmp
    
55. 
    
56. #安装zabbix
    
57. useradd zabbix
    
58. tar zxvf zabbix-2.4.3.tar.gz
    
59. cd zabbix-2.4.3/
    
60. ./configure --prefix=/usr/local/zabbix --enable-server --enable-agent --with-mysql --with-net-snmp --with-libcurl --with-libxml2
    
61. make install
    
62. cd /tmp
    
63. 
    
64. #判断源码安装是否成功
    
65. if [ ! -d /usr/local/zabbix ];then
    
66. echo "源码安装zabbix失败，退出安装"
    
67. exit 1
    
68. fi
    
69. 
    
70. #sql语句
    
71. data_import="
    
72. create database zabbix character set utf8;
    
73. grant all privileges on zabbix.* to zabbix@localhost identified by 'zabbix';
    
74. flush privileges;
    
75. use zabbix;
    
76. source /tmp/zabbix-2.4.3/database/mysql/schema.sql;
    
77. source /tmp/zabbix-2.4.3/database/mysql/images.sql;
    
78. source /tmp/zabbix-2.4.3/database/mysql/data.sql;"
    
79. 
    
80. #数据库配置，新安装的mysql密码为yunrun
    
81. mysql -uroot -p'yunrun' -e "${data_import}"
    
82. 
    
83. #拷贝网页程序代码
    
84. mkdir /var/www/zabbix
    
85. cp -r /tmp/zabbix-2.4.3/frontends/php/* /var/www/zabbix
    
86. chown -R www-data:www-data /var/www/zabbix
    
87. sed -i '/zh_CN/s/false/true/' /var/www/zabbix/include/locales.inc.php
    
88. 
    
89. #修改zabbix安装目录权限
    
90. chown -R zabbix.zabbix /usr/local/zabbix/
    
91. #创建软链接
    
92. ln -s /usr/local/zabbix/bin/* /usr/local/bin
    
93. ln -s /usr/local/zabbix/sbin/* /usr/local/sbin
    
94. #设置开机启动
    
95. cp zabbix-2.4.3/misc/init.d/debian/zabbix-server /etc/init.d/
    
96. update-rc.d zabbix-server defaults
    
97. cp zabbix-2.4.3/misc/init.d/debian/zabbix-agent /etc/init.d/
    
98. update-rc.d zabbix-agent defaults
    
99. 
    
100. #修改zabbix-server.conf
     
101. sed -i 's/DBUser=root/DBUser=zabbix/g;s/# DBPassword=/DBPassword=zabbix/g' /usr/local/zabbix/etc/zabbix_server.conf
     
102. 
     
103. #修改zabbix-agentd.conf
     
104. sed -i "s/# EnableRemoteCommands=0/EnableRemoteCommands=1/g;s/Server=127.0.0.1/Server=$server_ip/g;s/ServerActive=127.0.0.1/ServerActive=$server_ip/g;s/Hostname=Zabbix server/Hostname=$server_ip/g" /usr/local/zabbix/etc/zabbix_agentd.conf
     
105. 
     
106. #修改zabbix-agent.conf
     
107. sed -i "s/Server=127.0.0.1/Server=$server_ip/g" /usr/local/zabbix/etc/zabbix_agent.conf
     
108. 
     
109. 
     
110. #配置sendemail
     
111. wget http://caspian.dotconf.net/menu/Software/SendEmail/sendEmail-v1.56.tar.gz
     
112. sed -i 's@# AlertScriptsPath=${datadir}/zabbix/alertscripts@AlertScriptsPath=/usr/local/zabbix/alertscripts@' /usr/local/zabbix/etc/zabbix_server.conf
     
113. tar xvf sendEmail-v1.56.tar.gz -C /usr/local/
     
114. mv /usr/local/sendEmail-v1.56/ /usr/local/sendEmail
     
115. mkdir /usr/local/zabbix/alertscripts
     
116. echo '#!/bin/bash
     
117. # $1 recipient
     
118. # $2 subject
     
119. # $3 content
     
120. smtp=smtp.163.com
     
121. user=urundata@163.com
     
122. password=yunrun2015
     
123. /usr/local/sendEmail/sendEmail -f $user -s $smtp -xu $user -xp $password -u $2 -m $3 -t $1 > /dev/null 2>&1 ' >> /usr/local/zabbix/alertscripts/sendemail.sh
     
124. chmod a+x /usr/local/zabbix/alertscripts/sendemail.sh
     
125. chown -R zabbix.zabbix /usr/local/zabbix/alertscripts/
     
126. cp /usr/local/zabbix/alertscripts/sendemail.sh /usr/local/zabbix/share/zabbix/alertscripts/
     
127. 
     
128. 
     
129. 
     
130. #启动
     
131. chown -R www-data.www-data /var/www/zabbix/
     
132. mv /var/www/zabbix /var/www/html
     
133. /etc/init.d/zabbix-server start
     
134. /etc/init.d/zabbix-agent start
     
135. #重启apache
     
136. /etc/init.d/apache2 restart
     

复制代码

3、对于新手编写shell脚本应该注意哪些方面？
使用绝对路径..   语法标准等等
4、在工作当中，shell脚本主要运用在哪些方面？
一般都是做一些重复 又没有变数的事情

5、shell板块最活跃的两种文本处理工具sed和awk，各位CU大牛畅谈下运用经验吧。
这2个我是个渣渣     给不了运用经验    只能说  这2个工具很牛B

heguangwu

1、请分享你是如何学习bash shell的？入门主要看过哪些书？
最初看IBM developer上的shell编程的系列文章入门，后续主要是靠Google边查边学

2、请分享你在工作当中编写过的一个shell脚本实例。
脚本编写的太多了，如启动服务的脚本，参考linux本身init.d目录下的原有脚本修改

3、对于新手编写shell脚本应该注意哪些方面？
感觉没啥注意的，唯一要注意的对线上系统要谨慎操作（最好复制线上系统操作无误后再操作），避免事故发生

4、在工作当中，shell脚本主要运用在哪些方面？
主要是一些服务监控和启停的脚本，其它的是一些运维的基础脚本，如同时操作100个机器执行某条命令

5、shell板块最活跃的两种文本处理工具sed和awk，各位CU大牛畅谈下运用经验吧。
这个说句实话，sed用的比较少，awk也是主要处理结果用，没啥经验的，都是简单应用

limit001g

入门linux看的是《鸟哥的私房菜》，也是网络同志们推荐的。由于是初学，对里面的内容还不太熟悉。目前正在通过此网站努力学习中。 这是一个不错的网站。

陌路巨额投入

1、请分享你是如何学习bash shell的？入门主要看过哪些书？
       学习Linux的bash shell这个经历对于我来说，其实还是一个非常漫长的事情，在我大学刚刚及接触Linux操作系统的时候，我对于Linux的命令行还是非常感兴趣，在学校的课余时间都在仔细的研读Linux的脚本的书，一边看书一边敲到电脑中运行尝试，慢慢的锻炼自己。在工作的时候，有时候有些项目我自己也会编写一些小的脚本工具来进行快捷编译。提高工作质量。
     入门看过《鸟哥的私房菜》 《Linux shell入门》

2、请分享你在工作当中编写过的一个shell脚本实例。
    cd( )
{
    # 检查写但参数的数目，分别对0或1个参数，2个参数，其他进行处理
    case "$#" in
        # 如果有1个或者0个参数，采用原有cd的处理方式，注意|的使用，表示这两种情况之一匹配即可。
        0 | 1)  builtin cd $1 ;;
        # 对于2个参数，将当前路径所有匹配参数1样式的字符串更换为样式2，并跳到新的路径中
        2    ) newdir=${PWD//$1/$2}
                # 这里给了一个case嵌套的例子。如果更换的路径和原来一样，即没有变化的处理，以及其他（即有更改）的处理。
                case "$newdir" in
                    $PWD)   echo "bash: cd: bad substitution" >&2 ;
                        return 1 ;;
                    *   )   builtin cd "$newdir" ;;
                esac ;;
        # 对参数多与2个处理。
        *    )  echo "bash: cd: wrong arg count" 1>&2 ; return 1 ;;
    esac
}

3、对于新手编写shell脚本应该注意哪些方面？
      1.掌握基本的shell脚本知识
      2.注意编程的规范，虽然shell脚本可以根据自己的习惯来设计模式，但是一些基本的规则还是需要注意的。
      3.注意注释，因为shell脚本不仅是要自己阅读的。

4、在工作当中，shell脚本主要运用在哪些方面？
      通过使用shell使大量的任务自动化，shell特别擅长系统管理任务，尤其适合那些易用性、可维护性和便携性比效率更重要的任务。

5、shell板块最活跃的两种文本处理工具sed和awk，各位CU大牛畅谈下运用经验吧。
       普通的行处理任务用sed很好，因为命令很简洁。
       awk最好的部分是它按“列”或“字段”处理的方式和“关联数组”，但awk对正则表达式支持的程度比sed要差些

九方流云

刺客妹子好，哈哈，猜猜我是谁？

rickcafe

本期话题：

1、请分享你是如何学习bash shell的？入门主要看过哪些书？

看书，练习编程，用优化的思路，批处理的角度，解决系统运维中的问题。

我看的资料很旧了，因为太早了。看过两大本的《UNIX技术大全》，还看过一些下载的有关shell编程、sed、awk、正则表达式的电子档，为了省钱，没买多少纸质图书。


2、请分享你在工作当中编写过的一个shell脚本实例。

1. ora9.monthbak.sh v3说明：
   
2. 
   
3. 1. 本脚本是之前备份脚本的升级版。
   
4. 
   
5. 2. 本脚本备份指定目录的NFS Server（Oracle RMAN备份数据）数据到指定月归档目录，备份后的文件格式为TAR压缩文件“*.tar.gz”，压缩文件名以备份时间为区别。缺省备份文件为一个压缩文件，也可以将备份文件备份成多个2000MB大小的分卷压缩文件（见#注释项）。
   
6. 
   
7. 分卷压缩是用tar + split命令实现的，如果选择分卷压缩，解压方式可参考下列形式：
   
8. #cat *.tar.gz* |tar -xzv
   
9. 
   
10. 3. 本脚本应设置为当前月第一天执行，只备份上一个月的最后一次全备，无论全备数据是具体哪一天（包括跨年数据），如果上个月无全备数据，则提示备份失败。所有备份操作会记录在LOG_FILE文件中。
    
11. 
    
12. 4. 实际备份时，请根据情况，修改具体备份目录，如：TAR_DIR、BAK_DIR、LOG_DIR等，及相关文件名信息，如：DBSID、LOG_FILE等。
    
13. 
    
14. 5. 请将下列脚本复制到NFS Server上，修改、测试和运行。
    
15. 
    
16. 
    
17. #!/bin/sh
    
18. 
    
19. # backup script version 3
    
20. 
    
21. #get today time info
    
22. TODAY_FILE_TIME=`date '+%Y.%m.%d_%H.%M'`
    
23. 
    
24. #get last month date
    
25. LASTMON_DATE=`date -d "1 month ago" '+%Y%m'`
    
26. 
    
27. #the date of lastest full backup
    
28. LASTMON_FULLBK_DATE=""
    
29. 
    
30. #database sid
    
31. DBSID=ORA9
    
32. 
    
33. #tar file path
    
34. TAR_DIR="/monthbak/ora9"
    
35. 
    
36. #bak file path
    
37. BAK_DIR="/home/nfs.ora.bk"
    
38. 
    
39. #log file path
    
40. LOG_DIR="/monthbak"
    
41. 
    
42. #log file name
    
43. LOG_FILE="$LOG_DIR/monthbak.$DBSID.v3.log"
    
44. 
    
45. echo "" >>$LOG_FILE
    
46. echo "--------------------------------------------------------" >>$LOG_FILE
    
47. echo "MONTH BACKUP: $(date '+%Y/%m/%d %H:%M:%S')" >>$LOG_FILE
    
48. echo "" >>$LOG_FILE
    
49. 
    
50. cd $BAK_DIR
    
51. 
    
52. #get the date of latest full backup
    
53. LASTMON_FULLBK_DATE=`ls -1 $DBSID*FULL_$LASTMON_DATE*.ORABK | sed -e '$!d'  -e 's/.*\(20[0-9]\{6\}\).*/\1/g'`
    
54. #LASTMON_FULLBK_DATE="fake_str"
    
55. 
    
56. if  [ $LASTMON_FULLBK_DATE ]
    
57. then
    
58.         #echo $LASTMON_FULLBK_DATE
    
59. 
    
60.         echo "BAK file path: $(pwd)" >>$LOG_FILE
    
61. 
    
62.         echo "File Contents:" >>$LOG_FILE
    
63.         echo "" >>$LOG_FILE
    
64.         ls -la $DBSID*FULL*$LASTMON_FULLBK_DATE*.ORABK >>$LOG_FILE
    
65.         #ls -la $DBSID*FULL*$LASTMON_FULLBK_DATE*.ORABK
    
66. 
    
67.         echo "" >>$LOG_FILE
    
68. 
    
69.         BKBeginTime="Backup begin time: "`date`
    
70. 
    
71.         echo "Tar file path: $TAR_DIR" >>$LOG_FILE
    
72.         echo "Tar processing..." >>$LOG_FILE
    
73.         echo "" >>$LOG_FILE
    
74. 
    
75.         tar cvzf $TAR_DIR/${DBSID}_monbk_$TODAY_FILE_TIME.tar.gz $DBSID*FULL*$LASTMON_FULLBK_DATE*.ORABK >>$LOG_FILE
    
76. 
    
77.         # sub-volume compression
    
78.         #tar cvzf - $DBSID*FULL*$LASTMON_FULLBK_DATE*.ORABK |split -b 2000m -d - $TAR_DIR/${DBSID}_monbk_$TODAY_FILE_TIME.tar.gz >>$LOG_FILE
    
79. 
    
80.         if [ $? -eq 0 ]
    
81.         then
    
82.                 BKEndTime="Backup end time: "`date`
    
83.                 echo "" >>$LOG_FILE
    
84. 
    
85.                 echo "Backup was successful." >>$LOG_FILE
    
86.                 echo "" >>$LOG_FILE
    
87.                 echo $BKBeginTime >>$LOG_FILE
    
88.                 echo $BKEndTime >>$LOG_FILE
    
89.         else
    
90.                 echo "" >>$LOG_FILE
    
91.                 echo "Backup failed" >>$LOG_FILE
    
92.         fi
    
93. 
    
94. else
    
95.         echo "Could not find any file need to be backed up, processing stopped."  >>$LOG_FILE
    
96. fi

复制代码

3、对于新手编写shell脚本应该注意哪些方面？

几点：
1) 熟悉各种unix命令，特别是sed、awk（这其实不是命令，相当于两个解释性语言）；shell脚本是unix命令和工具的组合，不懂命令和工具，再熟悉语法，然并卵；
2）熟悉shell语法，注意语言细节和弱项（shell比C语言弱多了，它的特点不是语言的强大，而是命令组合的强大）；
3）注意结构化编程；变量命名的规范化；加注释；
4）思路要明确，一个大脚本要从分离的小功能、小脚本试起，试通了再组合调试；
5）脚本中加入调试代码，或设置日志记录功能（日志很好的）；
6）多看看高手写的脚本，有时间要深入理解；多和网友们讨论，不耻下问；


4、在工作当中，shell脚本主要运用在哪些方面？

数据采集，数据格式化，数据分析，运维自动化。

5、shell板块最活跃的两种文本处理工具sed和awk，各位CU大牛畅谈下运用经验吧。

对正则表达式要熟，而且正则表达式在sed和awk中的用法有细微的差别。

多写，多练，多用，如果不常用的话，最好注释一下，因为时间长了，语法生了，自己写的也看不懂了，我现在就这样。（当然了，我现在一个业务员，写个鸟脚本啊？）

nail78

1、请分享你是如何学习bash shell的？入门主要看过哪些书？
     多看书,多动手实践,主要看的书有<<LINUX与UNIX SHELL编程指南>> <<linux_advanced_technology>><<Unix环境高级编程>>等
2、请分享你在工作当中编写过的一个shell脚本实例。
一个批量插入数据库得脚本
   i=0
while [ $i -ne 300 ];do
        cat bulk_insert_test.sql|sqlplus billing/billing@orcl
        i=`expr $i + 1`
        echo $i
done
3、对于新手编写shell脚本应该注意哪些方面？
     多写,写完一定要测试,大的脚本,可以先部分实现,再组合在一块,可以用echo 把关键的变量打出来
4、在工作当中，shell脚本主要运用在哪些方面？
     监控,调度,定时起停,安装部署等等
5、shell板块最活跃的两种文本处理工具sed和awk，各位CU大牛畅谈下运用经验吧。
     sed和awk功能非常强大,每个都可以单独写成书,sed对文件进行删除,替换,增加等,对列的处理不如awk.