求置顶_用SHELL+Perl打造自己的监控系统

jolr

都说授人以鱼不如授人以渔，我今天开始以shell + prel搭建一个完整的服务器群监控平台的主题跟大家分享服务器监控经验，从监控的原理到软件包的编译一一分享给大家，真正的授人以渔，手所手教大家打造自己的业务监控。

打造自己监控系统题纲：

一、监控基本信息
1.1什么是监控
1.2监控的意义
1.3监控的范围？（业务监控、服务器、只要有数据源就可以监控）
1.4什么是SNMP
1.5 什么是RRDtool
1.6 RRDtool与MRTG的区别？为什么要选择RRDtool
1.7 RRDtool与语言的结合(与Perl的结合)

二、基本安装
2.1 安装SNMP
2.2 安装 RRDtool

三、监控种类
3.1 服务器监控包含哪些种？（Apache, Lighttpd，Nginx，MySQL）大概介绍
3.2 服务器基本监控（CPU使用率、CPULoad、Mem，SWAP，DISK，NIC，IO，IO）
3.3 缓存监控（Memcache、Tokyo Cabinet、Squid）

四、
安装服务器
4.1 安装Nginx
4.2 安装Apache
4.3 安装Lighttpd
4.4 安装MySQL 5.1/5.5
4.5 安装Memcache
4.6 安装 Tokyo Cabinet

五、服务监控参数说明
5.1 开启Nginx监控参数 及参数说明
5.2 开启Apache监控参数 及参数说明
5.3 开启Lighttpd的监控参数 及参数说明

六、MySQL的监控
6.1 MySQL的监控原理
6.2 MySQL哪些参数需要监控
6.3 MySQL基本优化

七、服务器基本信息
7.1 CPU基本信息 包括 Load及使用率
7.2 磁盘IO 包括读次操作次及传输率
7.3 内存及交换分区
7.4 网卡流量监控

八、Memcached 监控
8.1 安装Memcached
8.2 Memcahce的监控参数 命中率等

九、Tokyo Cabinet 监控
9.1 安装Tokyo Cabinet
9.2 Tokyo Cabinet的监控参数

因为这些文章都是在我自己的博客连载的现在还没有写完，我会每在博客一篇就会转一篇过来，大家也可以直接访问我的博客http://www.falcon-monitor.com/blog/

jolr

什么是监控

广义的讲所谓监控就是把想要源监视控制起来，只要有目标，目标就是你要监控的对象，这便形成了监控。
你的公司老板让网管监控所有员工MSN聊天、QQ聊天、访问网址、监控迅雷下载等这也是监控，当然我们不希望在公司里被监控着，这样肯定很不爽，监控是方方面面的，如果拿互联网来举例，我们可以想象下就是运维或运营人员看着电脑显示器，盯着网站的运行情况，交易情况等等，这个是某一方面的也是狭义的，但也是最常见的最需要的场景。
在这里我们要讲的就是互联网网站运行情况的监控—服务器信息，当然你也可以监控业务需要单独针对数据源开发。
网站服务器监控是我们接下来要讨论的重点内容，尤其是当前的互联网数据快速膨胀，而这些都是存储在服务器设备上，更是需要有监控系统对设备的健康情况了如指掌！

比如Nginx的Request 3天对比图：


又比如MySQL的Query统计：

jolr

监控的意义

监控的意义就是未雨绸缪，有了问题通过监控数据知道什么地方出现了什么样的问题，整个网站系统到底是哪一部分出了问题？
1）Nginx或Apache监控：网站整体内部响应时间是否足够快？
系统管理员都知道，网站的整体响应时间取决于外部与内部，外部就是指有没有好的IDC环境，是否做了跨IDC机房，天南地北的用户可以快速访问的到，这个基本上属于网站可靠性访问，外部条件不是我们要考虑的，我们要考虑的是网站的内部架构是否足够合理，当用户访问到了网站，网站内部是否可以快速响应，返回给用户想要的资源？ 这个就网站内部响应时间，取决于网站内部方方面面！


2）数据库性能监控：你的数据库是否疲惫不堪？
网站内部时间快慢，往往最直接的也是最容易出问题的就是数据库。数据库没有做在足够的优化，索引是否建立足够合理，缓存命中率有多高，连接数有多在呢？是不是每次都需要登录数据库才能看到这些数据呢？究竟是读多还是写多呢？



3）缓存监控：该不该使用缓存呢？
网站小文件很多，用户不断的上传照片，需要处理不同尺寸的头像，资源文件服务器的磁盘IO不断上传，现在你是否该使用Nginx_Cache或Squid了呢？
数据库查询量很大，很多重复性查询，即使优化了数据库索引，也不能立即降低服务器负载？在没有考虑其他方案的时候，是否该使用Memcache，TT或Redis？如何看到Memcache TT等命中率？通过命中率可以看到程序写的是否足够优化，还有哪些地方可以缓存起来？


4）用数据说话：为扩展升级提供数据支持
没有数据，是不可能轻易增加升级服务器的，这也不是凭空说出来的，数据会告诉你程序员写的程序是否足够优化，SQL写的是否够好，我们到底是增加应用服务器还是增加缓存抑或数据库服务器？ 用监控的数据，连续3天，一周，一个月或一个季度的数据对比，来判断出到底是哪一部分需要优化或升级，用数据说话！


5）报警：报警了没？
是否依旧还在为宕机处理不及时或根本没有收到报警的任何信息而苦恼不已，宕机是运维人员的噩梦无论你是醒的还是睡着，问题会被电话炒醒？预防总是很重要的，不要等到宕机再开始监控！

jolr

监控的范围

服务器有哪些是可以监控的，大致罗列如下
一、服务状态监控
1.1. Apache
老牌劲旅服务软件，以稳定著称
1.2.Nginx
新起之秀Nginx 飞速发展俄罗斯人之作，并发性能非常良好，详情请参考《Nginx介绍及配置示例文档》，友好的配置文件，强大简单的负载均衡，即可充当文件服务器、Web应用服务器，也可以充当缓存服务器，实属瑞士军刀。
监控参数有：requests和connections
1.3.lighttpd
作文件服务器或cgi服务器，lighttpd与Nginx相比肩
1.4.Squid
强大的文件缓存 代理反向代理服务器
通常我们需要监控其 文件访问命中率和穿透率
二、数据库监控
2.1 MySQL
首当其冲的我们需要监控的是MySQL, 可监控的参数有：查询统计、查询缓存、连接数、连接缓存、流量、Innodb监控等，这些会在后面的文章陆续有所体现
三、缓存服务
3.1 Memcache
最负生命的非持久化缓存，我们可以监控其：缓存Items数量、Set/Get命中率等
3.2 Tokyo Tyrant
同Memcahe的最大区别在于持久化上，同样可以监控与Memcache一样
四、服务器信息监控
4.1 CPU信息监控
CPU负载、CPU使用率
4.2 磁盘监控
磁盘IO操作数及IO读写字节数、磁盘空间使用
4.3 网卡
网卡In/Out流量
4.3 内存监控
内存使用率
4.4 Swap交换分区
监控SWAP分区，当然我们希望Swap交换分区永远使用为0字节。

jolr

什么时SNMP?


SNMP对运维监控至关重要，所以要先了解什么是SNMP！
SNMP即Simple Network Management Protocol的缩写，全称是简单网络管理协议，是专门用来设计基于IP的网络设备如交换机、服务器、路由器等管理结点的，属应用层协议，SNMP 使系统管理员和运维人员能够简单有效的管理网络，说的再直白一点就是通过这个协议知道这些设置处于什么样的状态，CPU的负载多少、磁盘用满了否，内存和交换分区是否不够用了，网卡多大流量，当然了，想要获取这些信息你可以逐一登录所有的服务器（10台？50台？100台？），我想当服务器达到一定规模后没有人愿意这么干！
通过上面的那段话，我们应该明白了一些SNMP的作用，再继续说下去：
SNMP的前身简单网关监控协议(SGMP)，用来对通信线路进行管理。后来对SGMP进行了很大的修改，特别是加入了符合Internet定义的SMI和MIB：体系结构，改进后的协议就是现在的SNMP。SNMP的目标是管理互联网Internet上众多厂家生产的软硬件平台，因此SNMP受Internet标准网络管理框架的影响也很大。目前，SNMP有三个版本。版本1和2无太大差距，版本2是增强版本，包含了其它协议操作。与V1 V2相比， V3 则包含更多安全和远程配置，总之版本越高越好，功能就越多，可获取的信息就越全面。
再延伸阅读下：SNMP开发于九十年代早期，其目的是简化大型网络中设备的管理和数据的获取。许多与网络有关的软件包，如HP的Open View和Nortel Networks的Optivity Network Management System，还有Multi Router Traffic Grapher（MRTG）之类的免费软件，都用SNMP服务来简化网络的管理和维护。由于SNMP的效果实在太好了，所以网络硬件厂商开始把SNMP加 入到它们制造的每一台设备。今天，各种网络设备上都可以看到默认启用的SNMP服务，从交换机到路由器，从防火墙到网络打印机，无一例外。与此同时也诞生了NET-SNMP，其实也是对SNMP的升级，与SNMP保持兼容，官网：http://www.net-snmp.org/
刚才说到了MIB，了解下MIB，Management Information Base 即管理信息库，由网络管理协议访问的管理对象数据库，它包括SNMP可以通过网络设备的SNMP管理代理进行设置的变量。不明白？直白一点说就是ID唯一性标识，通过这个唯一性标识获取这个设备的信息，举例个例子 .1.3.6.1.4.1.2021.10 表示的就是CPU负载情况，无论什么样的服务器，电脑，只要安装了SNMP协议，通过.1.3.6.1.4.1.2021.10 就可以知道CPU负载情况了。
查看MIB值：

1. more /usr/share/snmp/mibs/UCD-SNMP-MIB.txt

复制代码

注意有一点不同服务器的CPU负载的MIB值是一样，不会变的。
到此SNMP的大致情况介绍完了，后续的文章我们会介绍安装调试SNMP，使用SNMP获取我们想要的监控数据！
这篇文章介绍了通过什么途径获取服务器群的状态信息，信息采集回来后，如何处理呢？
接下来的一文章，将会介绍《什么是rrdtool》就数据处理做介绍！

jolr

安装Falcon所需的基本软件环境

以Ubuntu 9.10为例，其他操作系统类似（推荐Ubuntu、CentOS）

一、安装基本需要必须的编译环境

   

1. linux:#sudo apt-get install build-essential autoconf automake1.9

复制代码

二、安装Perl、rrdtool

   

1. linux:#apt-get install rrdtool

复制代码

或

  

1. linux:#wget http://www.mrtg.org/rrdtool/pub/rrdtool-1.4.5.tar.gz
   
2.     linux:#./configure –prefix=/usr/local/falcon/rrdtool
   
3.     linux:#make && make install

复制代码

安装完成后运行rrdtool测试

继续安装librrds-perl，也就是在rrdtoolPerl模块

  

1. linux:#apt-get install librrds-perl

复制代码

三、安装Net-Snmp

首先下载Net-SNMP源码包，选择的版本是5.6.1，地址如下：

   

1. linux:#wget http://sourceforge.net/projects/net-snmp/files/net-snmp/5.6.1/net-snmp-5.6.1.zip/download
   
2.     linux:#unzip 5.6.1.zip
   
3.     linux:#./configure –prefix=/usr/local/snmp –with-openssl=/usr/ –with-mib-modules=ucd-snmp/diskio
   
4.     linux:#make && make install

复制代码

完成以上几步，就搭建起来基本的监控必需环境，但Perl的环境没有说明，一般情况下Linux都安装了Perl，具体可以执行perl -v或/usr/local/bin/perl -v查看具体的Perl版本信息

jolr

什么是RRDtool－前言篇


本文章简单的介绍RRDtool，但RRDool是强大的
RRDtool官网
http://oss.oetiker.ch/rrdtool/ 或 http://www.rrdtool.org
啥资料都不如官网上的，建议大家多看看，E文也没关系
RRDtool前言

RRDtool is the OpenSource industry standard, high performance data logging and graphing system for time series data. RRDtool can be easily integrated in shell scripts, perl, python, ruby, lua or tcl applications.

以上是来自官网的简介和图。
什么是RRDtool？大部分的人没有听说过，但我们需要做监控的话，RRDtool是我们必不可或缺的软件，简单的一点说，RRDtool是可以把取来的数据（如何取数据？）存在本地rrd库并且可以把数据画成图表的程序，X轴为时间轴，Y轴为数值轴，可以根据数据不断的变化也就是时间的变化而动态的更新图表的程序—-相信没有人喜欢画完图后永远不变当然这也算不上监控了，很强大？是的，没错，RRDtool很强大，但也我们需要理解了解它，否则我们无法“调教”它驾驭它。学习RRDtool最好要有一点Perl/Shell/Python/PHP/SNMP或其他的脚本语言基础，这样才可以取数据，用RRDtool存数据画图。


上面是用RRDtool绘制的MySQL的流量图



上面是用RRDtool绘制的CPU一周的负载情况



上面是用RRDtool绘制的内存一周的使用变化情况

实例
        开车的朋友喜欢看里程表，这个值是累加值，比如现在是12：00，显示 10000公里，12：05 显示10015公里，从12：05到12：00，5分钟之内一共走了15公里，用来计算速度是：15公里*1000/(5分钟*60)=
        50米/秒，180千米/时，速度挺快的，假设我们平均5分钟看一下里程表计下数，计算下平均值，这样下来，一个小时将会产生12份数据，一天将会产生288份数据。我们用RRDtool把每隔5分钟的里程数存下来，并设定DS为5分钟（什么是DS后面会讲到的），并且这个里程表如果不清零的话，将会是持续累加值的，所以设定好DST就可以让RRDtool替你乖乖的画图了，我们把一天的记录下来的数据画成图，这样就可以看出汽车的行驶平均5分钟时速连续图了！
了解了什么RRDtool我们接下来继续《什么是RRDtool－安装篇》

jolr

什么是RRDtool－安装篇


Debian系统

1. apt-get install rrdtool

复制代码

CentOS系统，安装RRDtool前需要的安装包

1. yum install cairo-devel libxml2-devel pango-devel pango libpng-devel freetype freetype-devel libart_lgpl-devel

复制代码

到官网下载适合你的系统的版本 http://oss.oetiker.ch/rrdtool/download.en.html，我选择的是源码下载安装：
RRDtool依赖许多安装包，包括字体处理的，图形处理的等等，推荐大家进行Debian系统下尝试安装
依赖包地址：http://oss.oetiker.ch/rrdtool/pub/libs/
#1. 图形化libart_lgpl

1. 
   
2. wget -c http://ftp.gnome.org/pub/gnome/s ... _lgpl-2.3.21.tar.gz
   
3. tar zxvf libart_lgpl-2.3.21.tar.gz
   
4. cd libart_lgpl-2.3.21
   
5. ./configure –prefix=/usr
   
6. make && make install

复制代码

#2. fontconfig 字体管理

1. wget -c http://oss.oetiker.ch/rrdtool/pub/libs/fontconfig-2.4.2.tar.gz
   
2. tar zxvf fontconfig-2.4.2.tar.gz
   
3. cd fontconfig-2.4.2
   
4. ./configure
   
5. make && make install

复制代码

#3.cairo 图形

1. wget -c http://oss.oetiker.ch/rrdtool/pub/libs/cairo-1.4.10.tar.gz
   
2. tar zxvf cairo-1.4.10.tar.gz
   
3. cd cairo-1.4.10
   
4. ./configure
   
5. make && make install

复制代码

#4.glib

1. wget -c http://oss.oetiker.ch/rrdtool/pub/libs/glib-2.12.13.tar.gz
   
2. tar zxvf glib-2.12.13.tar.gz
   
3. cd glib-2.12.13
   
4. ./configure
   
5. make && make install

复制代码

#5.pango 开放源代码的自由函数库

1. wget -c http://oss.oetiker.ch/rrdtool/pub/libs/pango-1.17.5.tar.gz
   
2. tar zxvf pango-1.17.5.tar.gz
   
3. cd pango-1.17.5
   
4. ./configure
   
5. make && make install

复制代码

#安装rrdtool

1. wget -c http://oss.oetiker.ch/rrdtool/pub/rrdtool-1.4.5.tar.gz
   
2. tar zxvf rrdtool-1.4.5.tar.gz
   
3. cd rrdtool-1.4.5
   
4. ./configure
   
5. make && make install

复制代码

安装好之后 进行下测试

1. root@davidliu-virtual-machine:/data/software/monitor# rrdtool
   
2.                     RRDtool 1.4.3  Copyright 1997-2009 by Tobias Oetiker <tobi@oetiker.ch>
   
3.                                    Compiled Aug 16 2010 10:48:56
   
4.     Usage: rrdtool [options] command command_options
   
5.                     Valid commands: create, update, updatev, graph, graphv,  dump, restore,
   
6.                                     last, lastupdate, first, info, fetch, tune,
   
7.                                     resize, xport, flushcached
   
8.     RRDtool is distributed under the Terms of the GNU General
   
9.                     Public License Version 2. (www.gnu.org/copyleft/gpl.html)
   
10.     For more information read the RRD manpages

复制代码

尝试其中一个创建rrd库命令

1. rrdtool create test.rrd –start 920804400 DS:speed:COUNTER:600:U:U RRA:AVERAGE:0.5:1:24 RRA:AVERAGE:0.5:6:10
   

复制代码

取得刚刚创建的rrdtool库的信息

1. rrdtool info test.rrd
   
2. filename = "test.rrd"
   
3. rrd_version = "0003"
   
4. step = 300
   
5. last_update = 920804400
   
6. header_size = 740
   
7. ds[speed].index = 0
   
8. ds[speed].type = "COUNTER"
   
9. ds[speed].minimal_heartbeat = 600
   
10. ds[speed].min = NaN
    
11. ds[speed].max = NaN
    
12. ds[speed].last_ds = "U"
    
13. ds[speed].value = 0.0000000000e+00
    
14. ds[speed].unknown_sec = 0
    
15. rra[0].cf = "AVERAGE"
    
16. rra[0].rows = 24
    
17. rra[0].cur_row = 4
    
18. rra[0].pdp_per_row = 1
    
19. rra[0].xff = 5.0000000000e-01
    
20. rra[0].cdp_prep[0].value = NaN
    
21. rra[0].cdp_prep[0].unknown_datapoints = 0
    
22. rra[1].cf = "AVERAGE"
    
23. rra[1].rows = 10
    
24. rra[1].cur_row = 9
    
25. rra[1].pdp_per_row = 6
    
26. rra[1].xff = 5.0000000000e-01
    
27. rra[1].cdp_prep[0].value = NaN
    
28. rra[1].cdp_prep[0].unknown_datapoints = 0

复制代码

通过简单的几个命令测试我们可以看到RRDtool已经安装好了，接下来需要做的就是熟悉RRDtool命令《什么是RRDtool－命令篇》

jolr

Memcache参数说明

通过这些参数我们可以清晰的看到Memcache健康状况，我们可以针对Memcache分配的内存使用耗尽进行报警（邮件、短信）也可以查看Memcache流量等等。
一、通过telnet查看memcache状态信息
可以通过telnet登录到memcache服务器 输入stats即可获取memcache server的信息 这里面有我们需要监控的参数。

1. telnet 192.168.1.202 11211

复制代码

stats


二、可以通过memcache连接客户端（c c++ java perl 或php）
PHP的代码：

1. $memcache = new Memcache();
   
2. $memcache = $memcache->addServer('192.168.1.202','11211');
   
3. $stats = $memcache->getStats();

复制代码

三、重要参数说明
*uptime服务器自启动来运行的时间（秒）
time 当前服务器的时间戳
*curr_items 当前已缓存未失效的条目数量（累计值rrdtool DST使用GUAGE)
*total_items 自启动以来缓存过的总条目数量（累计值rrdtool DST使用COUNTER)
*bytes 当前服务器已使用的缓存空间大小（字节 累计值rrdtool DST使用GUAGE）
*cmd_get 自服务器启动以来get的总次数（累计值rrdtool DST使用COUNTER)
*cmd_set 自服务器启动以来set的总次数（累计值rrdtool DST使用COUNTER)
*get_hits  自服务器启动以来get的hit(命中）的总次数（累计值rrdtool DST使用COUNTER)
*get_misses  自服务器启动以来get的总次数（累计值rrdtool DST使用COUNTER)
*bytes_read 自服务器启动以来读的总流量（字节 累计值rrdtoool DST使用COUNTER）
*bytes_written 自服务器启动以来写的总的流量（字节 累计值rrdtoool DST使用COUNTER）
*limit_maxbytes 服务器分配的空间大小（字节）
   
画*基本上都是监控时需要的参数 不同的客户端获取的参数不尽相同

命中率：cmd_hits/cmd_get 用GUAGE

读流量： 利用rrdtool的COUNTER进行存储分析，步长一分钟 bytes_read
写流量： 利用rrdtool的COUNTER进行存储分析，步长一分钟 bytes_written
空间使用率： bytes/limit_maxbytes rrdtool用GUAGE
SET的频率：用rrdtool DST为COUNTER进行存储cmd_set进行存储 最高值设置成U即可，步长一分钟进行统计计算画图
GET的频率：用rrdtool DST为COUNTER进行存储cmd_get进行存储最高值设置成U即可，步长一分钟进行统计计算画图
关于 DST为COUNTER和GUAGE的小小说明：
数据源值上下浮动 变化不一样 忽高忽低 用GUAGE;
数据源值为持续增加的值，如网卡流量 可以用COUNTER


五、举例说明rrdtool(Perl) 命中率：

1. RRDs::create "$rrd/$hit_rrd.rrd",
   
2. "-s 60",
   
3. "DS:total:GAUGE:120:0:U",//U为最大值不限制
   
4. "DS:using:GAUGE:120:0:100",//使用率最高为100，故将最高值设置成100，当然你也可以设置大于100的或U不限制都可
   
5. "RRA:AVERAGE:0.5:1:5760",
   
6. "RRA:AVERAGE:0.5:30:672",
   
7. "RRA:AVERAGE:0.5:120:732",
   
8. "RRA:AVERAGE:0.5:720:1460";

复制代码

六、Perl代码碎片

1. %mem_hash=split /,/,$memcache;
   
2. $hit_rate=eval{int(($mem_hash{get_hits}/$mem_hash{cmd_get})*100)};
   
3. $space_use=eval{int(($mem_hash{bytes}/$mem_hash{limit_maxbytes})*100)};
   
4. #总流量
   
5. $traffic_total=($mem_hash{bytes_written}+$mem_hash{bytes_read})/1024;
   
6. $traffic_total=sprintf("%.0f",$traffic_total);
   
7. #读流量
   
8. $traffic_read=($mem_hash{bytes_read})/1024;
   
9. $traffic_read=sprintf("%.0f",$traffic_read);
   
10. #写流量
    
11. $traffic_written=($mem_hash{bytes_written})/1024;

复制代码

jolr

Memcache是一个高性能的分布式的内存对象缓存系统，通过在内存里维护一个统一的巨大的hash表，它能够用来存储各种格式的数据，包括图 像、视 频、文件以及数据库检索的结果等。Memcache是danga的一个项目，最早是LiveJournal 服务的，最初为了加速 LiveJournal 访问速度而开发的，后来被很多大型的网站采用。

以上摘自百度百科。

Memcache需要监控的几个点：
一、监控get命中率
监控Memcache get命中率， 一般情况下可以反应出缓存系统的优化问题，命中率偏低，数据库的查询会随之偏高，通过命令率可以反应出一些问题，比如缓存时间长短的优化，缓存条目的内容优化等
计算公式：总get_hits/cmd_get

1. $hit_rate=eval{int(($mem_hash{get_hits}/$mem_hash{cmd_get})*100)};

复制代码

监控应该可以查看当前情况，3天情况，本周情况，本月情况，通过曲线图可以查看代码优化是否足够有效！

上图：当前命中率 过去两个小时的命中率情况


本周命令率情况

[img]http://blog.falcon-monitor.com/wp-content/uploads/2011/04/%E5%91%BD%E4%BB%[/img]
本月命令率情况

二、监控空间使用率


当前空间使用率（%)


3天空间使用率%


7天空间使用率%


30天空间使用率%

三、监控Memcache流星


当前Memcache流量


3天流量


7天流量


30天流量