有奖专家座谈——自动化运维案例分享讨论之二（特邀某大型网游运维总监“king_819”）

king_819

,响一夜才让人烦恼呢.
chenyx 发表于 2011-12-14 10:02

    所以预警阀值要设置的恰当

chenyx

回复 41# king_819


    不是阀值的事情,我监控过一条线路,那条线路被施工搞断了,响了一夜

king_819

回复  king_819


    不是阀值的事情,我监控过一条线路,那条线路被施工搞断了,响了一夜
chenyx 发表于 2011-12-14 10:12

    监控线路？ 是用的什么监控系统？  smokeping？

king_819

分享一个监控http的脚本

1. #!/bin/sh
   
2. LANG=C
   
3. 
   
4. #被监控服务器、端口列表
   
5. server_all_list=(\
   
6. www.qq.com:80 \
   
7. www.163.com:80 \
   
8. www.sina.com:80 \
   
9. )
   
10. 
    
11. 
    
12. 
    
13. telnum=已开通飞信的手机号
    
14. passwd=飞信密码
    
15. 
    
16. 
    
17. 
    
18. date=$(date -d "today" +"%Y-%m-%d_%H:%M:%S")
    
19. 
    
20. #采用HTTP POST方式发送检测信息给接口程序interface.php，接口程序负责分析信息，决定是否发送报警MSN消息、手机短信、电子邮件。
    
21. send_msg_to_interface()
    
22. {
    
23.          if [[ $2 = "0" ]] || [[ $2 = "2" ]]; then
    
24.                  #开始发送警报短信，13500000000是接收方手机号
    
25.                  curl -m 600 -d username=${telnum} -d password=${passwd} -d sendto=13500000000 -d message=$1  http://sms.api.bz/fetion.php
    
26.    echo "`date +'%Y-%m-%d %H:%M:%S'`      $1 ">> http_down.log
    
27.                  #发送msn警报消息（如果不需要msn警报可以注释这行）
    
28. #               curl -m 600 -d menu=http -d date=$date -d ip=$server_ip -d port=$server_port -d status=$status http://127.0.0.1/monitor/interface.php
    
29.          fi;
    
30. 
    
31. }
    
32. 
    
33. 
    
34. 
    
35. server_all_len=${#server_all_list[*]}
    
36. i=0
    
37. while  [ $i -lt $server_all_len ]
    
38. do
    
39.     server_ip=$(echo ${server_all_list[$i]} | awk -F ':' '{print $1}')
    
40.     server_port=$(echo ${server_all_list[$i]} | awk -F ':' '{print $2}')
    
41.     server_message=" "
    
42.     if curl -m 10 -G http://${server_all_list[$i]}/ > /dev/null 2>&1
    
43.     then
    
44.       #status:    0,http down    1,http ok    2,http down but ping ok
    
45.       status=1
    
46.             echo "服务器${server_ip}，端口${server_port}能够正常访问！";
    
47.                     server_message="服务器${server_ip}，端口${server_port}能够正常访问！";
    
48.     else
    
49.         if curl -m 30 -G http://${server_all_list[$i]}/ > /dev/null 2>&1
    
50.         then
    
51.             status=1
    
52.             echo "服务器${server_ip}，端口${server_port}能够正常访问！"
    
53.                     server_message="服务器${server_ip}，端口${server_port}能够正常访问！";
    
54.         else
    
55.             if ping -c 1 $server_ip > /dev/null 2>&1
    
56.             then
    
57.                 status=2
    
58.                 echo "服务器${server_ip}，端口${server_port}无法访问，但是能够Ping通！";
    
59.                             server_message="服务器${server_ip}，端口${server_port}无法访问，但是能够Ping通！";
    
60.             else
    
61.                 status=0
    
62.                 echo "服务器${server_ip}，端口${server_port}无法访问，并且无法Ping通！";
    
63.                             server_message="服务器${server_ip}，端口${server_port}无法访问，并且无法Ping通！";
    
64.             fi
    
65.         fi
    
66.     fi
    
67.   send_msg_to_interface "${server_message}" "${status}";
    
68.     let i++
    
69. done
    
70. 
    
71. 
    
72. 
    
73. interface.php （需要设置监控端服务器的让其可访问到，如：http://127.0.0.1/monitor/interface.php，与上面脚本对应）
    
74. 这里需要一个PHP类sendMsg，用来通过PHP发送消息到MSN，下载后把目录解压到interface.php目录即可。
    
75. 
    
76. 
    
77. 
    
78. include('sendmsg/sendMsg.php');
    
79.   
    
80. //HTTP服务器监控
    
81. if (isset($_POST["menu"]))
    
82. {
    
83.   if (htmlspecialchars($_POST["menu"]) == "http")   
    
84. {   
    
85.   $date = htmlspecialchars($_POST["date"]);   
    
86.   $ip = htmlspecialchars($_POST["ip"]);
    
87.    $port = htmlspecialchars($_POST["port"]);
    
88.    $status = htmlspecialchars($_POST["status"]);//状态，0表示无法访问，1表示正常，2表示无法访问但能ping通
    
89.   
    
90.    $message = '';
    
91.    switch($status)
    
92.    {
    
93.     case '0':
    
94.      $message = $ip . '服务器无法访问';
    
95.      break;
    
96.     case '1':
    
97.      $message = $ip . '服务器工作正常';
    
98.      break;
    
99.     case '2':
    
100.      $message = $ip . '服务器无法访问但能ping通';
     
101.      break;
     
102.    }
     
103.   
     
104.    if ($status == 0 && $status == 1)
     
105.    {
     
106.     $sendMsg = new sendMsg();
     
107.     $sendMsg->login('用来发消息的MSN帐号', '密码');
     
108.     $sendMsg->createSession('用来接收消息的MSN帐号');
     
109.     $sendMsg->sendMessage(iconv("GBK", "UTF-8", $message), 'Times New Roman', 'FF0000');
     
110.   
     
111.    }
     
112.   }
     
113. }
     

复制代码

如果利用sendEmail发送报警邮件：

1. cd /opt
   
2. wget http://caspian.dotconf.net/menu/Software/SendEmail/sendEmail-v1.56.tar.gz
   
3. tar -zxvf sendEmail-v1.56.tar.gz
   
4. cd sendEmail-v1.56
   
5. cp sendEmail /usr/local/bin
   
6. chmod +x /usr/local/bin/sendEmail

复制代码

#sendEmail使用方法

1. sendEmail -f 13512345678@139.com -t 13512345678@139.com -s smtp.139.com -u "from cacti" -xu 13512345678@139.com -xp 123456 -o message-charset=utf-8 -m “测试邮件发送”

复制代码

把原脚本中的

1. curl -m 600 -d username=${telnum} -d password=${passwd} -d sendto=13500000000 -d message=$1  http://sms.api.bz/fetion.php

复制代码

修改为：

1. sendEmail -f 13512345678@139.com -t 13512345678@139.com -s smtp.139.com -u "from cacti" -xu 13512345678@139.com -xp 123456 -o message-charset=utf-8 -m $1

复制代码

chenyx

回复 43# king_819


    是smokeping

king_819

回复  king_819


    是smokeping
chenyx 发表于 2011-12-14 10:45

    把你的smokeping配置文档在这分享下

chenyx

回复 46# king_819


    那个配置文件网上太多了,就不用在这帖了.我就是按照网上的文档做的,没有配置,用的都是最基本的nagios的功能

king_819

因squid对多核服务器支持不够理想，所以在每台freebsd服务器上（4核）开启了3个squid，系统环境是Freebsd 7.3


平稳的运行了一段时间，有一天客服反映网页无法打开，然后就对每台squid服务器进行检查，发现有台服务器其中的一个squid进程死掉了，重新启动该squid，一切正常，为了及时发现squid进程故障并重启squid，特写了以下脚本

定时器，每过10分钟检查一次，无限循环

vi /root/restart_squid.sh

1. #!/bin/sh
   
2. while true   
   
3. do
   
4. Squid1_IP=`awk '/ifconfig_lo0_alias0/{print $2}' /etc/rc.conf`
   
5. Squid1Num=`netstat -an | grep -c $Squid1_IP`      
   
6. if [ $Squid1Num -lt 10 ] ; then   
   
7.     /usr/local/etc/rc.d/squid1 start
   
8.      /usr/local/etc/rc.d/squid1 restart
   
9.      adddate=`date +%Y-%m-%d`" "`date +%H:%M:%S`   
   
10.     echo "$adddate squid_1 started" >> /var/restart_squid.log   
    
11. fi
    
12. Squid2_IP=`awk '/ifconfig_lo0_alias1/{print $2}' /etc/rc.conf`
    
13. Squid2Num=`netstat -an | grep -c $Squid2_IP`      
    
14. if [ $Squid2Num -lt 10 ] ; then   
    
15.     /usr/local/etc/rc.d/squid2 start
    
16.      /usr/local/etc/rc.d/squid2 restart
    
17.      adddate=`date +%Y-%m-%d`" "`date +%H:%M:%S`   
    
18.     echo "$adddate squid_2 started" >> /var/restart_squid.log   
    
19. fi
    
20. Squid3_IP=`awk '/ifconfig_lo0_alias2/{print $2}' /etc/rc.conf`
    
21. Squid3Num=`netstat -an | grep -c $Squid3_IP`      
    
22. if [ $Squid3Num -lt 10 ] ; then   
    
23.     /usr/local/etc/rc.d/squid3 start
    
24.      /usr/local/etc/rc.d/squid3 restart
    
25.      adddate=`date +%Y-%m-%d`" "`date +%H:%M:%S`   
    
26.     echo "$adddate squid_3 started" >> /var/restart_squid.log   
    
27. fi
    
28. sleep 10m
    
29. done

复制代码

vepeta

都是大牛呀。学习了！

king_819

都是大牛呀。学习了！
vepeta 发表于 2011-12-15 10:25

    互相学习，共同进步