构建高性能的MYSQL数据库(二) 把那些瓶颈给找出来

pkman110

一、从哪里入手
     当一台MYSQL服务器搭建完成并可以正常运行时，是不是我们的脚步就停止了，自以为可以开始使用了，对专业人士来说其实还需要更多的相关优化和设置。怎么去优化？怎么去设置？首先我们得找到它的瓶颈，我现在所了解的有两种方法，一是基准测试，二就是程序分析，他们有着密切的联系，因为有时是一样的。通过对你的MYSQL性能做基准测试，查找那部分存在问题需要优化，那部分则运行正常，相反程序分析则帮助我们统计MYSQL运行的花费时间和消耗资源。换句话说：基准测试是MYSQL的各项是否发挥出最大的性能，程序分析则是为什么MYSQL的这个选项会占用更多的性能。
二、基准测试
    针对MYSQL的基准测试有两种测试方法，一个是整站式测试，另一个则是单一组件测试。整站式测试包括除MYSQL以外的其他和MYSQL所管理的程序，如WEB程序，操作系统，磁盘I/O等等。单一组件是专门针对MYSQL做的测试，包括增删改查速度测试，不同存储引擎测试等等。下面我们将介绍几款相关的基准测试工具：
1、http_load(整站式测试)
   http_load是运行在linux操作系统上的一个针对网站做压力测试的开源工具。
  下载地址：
http://www.acme.com/software/http_load/http_load-12mar2006.tar.gz
  http_load以并行复用的方式运行测试网站服务器的吞吐量和负载，它可以以单个进程去运行，这样不会搞死你的客户端，这也是和大部分压力测试工具所不同的一点，还有它还可以测试https页面。
   开始安装：   
#wget http://www.acme.com/software/http_load/http_load-12mar2006.tar.gz  

# tar xvzf http_load-12mar2006.tar.gz  
# cd http_load-12mar2006  

# make  
首先创建一个urls.txt文件，里面加入要测试的URL地址，以换行分割,这里需要注意一点就是因为我们讲的是测试MYSQL，所以你的页面一定要存在MYSQL的操作语句，而且要符合你的标准网站的数据量，如下：
http://killker.com/blog/index.php  

http://killker.com/blog/?p=114  
http://killker.com/blog/?p=102  
现在我们开始测试每秒所能承受的页面访问量（吞吐量，单位时间内的事物处理能力）
#./http_load -paraller 5 -fetches 100 urls.txt  
以上命令意思是同时使用5个进程，随机访问urls.txt中的网站地址，总共访问100次。下面是测试结果：

呵呵~~ 我这个小VPS居然每秒还能同时访问两个页面。（2.59194 fetches/sec）
我们再测试下预期中能承受多大的访问压力（持续一段时间的大量用户并发环境）
#./http_load -rate 2 -seconds 10 urls.txt  
以上命令意思是在以频率为2的访问量持续10秒钟，下面是运行结果：

以下是分析结果：
a、14 fetches, 6 max parallel, 398917 bytes, in 10 seconds
      总共发送了14个请求，最大的并发进程是6个，总共传输398917bytes,运行为10秒
b、28494.1 mean bytes/connection
     每次请求平均传输数据量为28494.1bytes
c、1.4 fetches/sec, 39891.7 bytes/sec
     每秒请求页面平均为1.4,吞吐量为39891.7bytes
d、最后的则是每次请求的响应时间和返回时间，包括平均，最大，最小。
哈哈~~~ 这个工具似乎比apache的ab强多了。

2、sysbench(整站式测试)
      sysbench是一款开源的性能测试工具，它不但可以测试服务器的CPU,内存,磁盘I/O，还可以测试各种数据库，包括MYSQL,ORACLE,POSTGRESQL，那我们要讲的是怎么测试MYSQL。
      sysbench按照指定数量开启线程，每个线程都与MYSQL建立一个连接，建立连接后每个线程都不停地进行事务操作，打开事务，然后进行插入，查询，更新等操作，提交事务后然后再开启新的事务。所有的事务在连接后都会创建一个sbtest表，所有的操作都是针对这个表，测试结束后会统计一些相关信息，包括每秒事务处理数，平均响应时间等。
     下载地址：
http://downloads.sourceforge.net/sysbench/sysbench-0.4.10.tar.gz?use_mirror=jaist
     解压并编译安装sysbench:
  
# tar -zxvf sysbench-0.4.6.tar.gz  

# cd sysbench-0.4.6.tar.gz  
# ./configure –prefix=/usr/local/sysbench –with-mysql-includes=/usr/local/mysql/include/ –with-mysql-libs=/usr/local/mysql

# make & make install  
    如果在编译过程中出现一下错误信息：

请下载并安装
MySQL-shared-compat-5.0.41-0.rhel4.i386.rpm
包：
# wget http://yum.telkom.net.id/rhe4-i386/mysql/MySQL-shared-compat-5.0.41-0.rhel4.i386.rpm  

# rpm -ivh MySQL-shared-compat-5.0.41-0.rhel4.i386.rpm  
安装后重新编译安装sysbench即可。
sysbench采用OLTP基准测试的：
# /usr/local/sysbench/bin/sysbench –test=oltp –mysql-table-engine=myisam –mysql-db=test –oltp-table-size=1000000 –mysql-host=localhost –mysql-user=root –mysql-password=123456 –mysql-socket=/tmp/mysql.sock prepare  
以上是为基准测试做准备，它会在指定的test数据库创建一个sbtest表，然后自动插入1000000条数据，下面开始运行测试性能。
# /usr/local/sysbench/bin/sysbench –max-requests=1000 –test=oltp –oltp-table-size=10000 –mysql-db=test –mysql-host=localhost –mysql-user=root –mysql-password=123456 –mysql-socket=/tmp/mysql.sock –oltp-read-only run  
现在是以请求为1000进行10000条数据的事务操作，我的主要是VPS，所以只能把数字变小点测试，以下是测试结果：

测试结果分析:
OLTP测试统计：总共执行了1000次请求事务操作，每秒钟平均为112.71次，读/写请求是14000次，每秒钟平均为1577.89次，其他运行为2000次，每秒平均是225.41次。
测试完成摘要：总共花费了8.8726s,最终请求数为1000次，每次请求最小花费2.8ms,平均8.84ms,最大是1262.53ms,接近百分之九十五的是8.21ms
小节总结：作为全方位性能测试工具，sysbench对CPU，内存，磁盘I/O也有很好的性能测试，详细请访问官方文档：
http://sysbench.sourceforge.net/docs/
3、sql-bench(单一组件测试)
   sql-bench是mysql自带做基准测试的工具，在mysql目录下有个sql-bench子目录，里面存放着测试程序，这些程序都是perl实现的。下面介绍几个常用的程序：
# /usr/local/mysql/sql-bench/run-all-tests –server=mysql –user=root –password=123456 –log –fast  
以上是全局测试，包括增删改查等操作，以快速的方式进行事务操作。如果出现以下错误：
install_driver(mysql) failed: Can’t locate DBD/mysql.pm
解决方法是安装一个DBD-MYSQL包即可，下载地址为：
http://search.cpan.org/CPAN/authors/id/C/CA/CAPTTOFU/DBD-mysql-2.9005.tar.gz
安装方法：
# wget http://search.cpan.org/CPAN/authors/id/C/CA/CAPTTOFU/DBD-mysql-2.9005.tar.gz  

# tar zxvf DBD-mysql-2.9005.tar.gz  
# cd DBD-mysql-2.9005  

# perl Makefile.PL –testdb=test –testuser=root –testpassword="123456"  
# make  

# make test  
# make install  
到此DBD-MYSQL就安装完成了，当然如果没有出现上面那个错误可以不用操作这些步骤。
# /usr/local/mysql/sql-bench/test-insert –server=mysql –user=root –password=123456  
这个命令是测试数据库的插入性能，默认是插入300000条数据。
# /usr/local/mysql/sql-bench/test-connect –server=mysql –user=root –password=123456  
可想而知，这个命令则是测试数据库连接性能。
# /usr/local/mysql/sql-bench/test-select –server=mysql –user=root –password=123456   
这个当然是测试数据库的查询性能了。
其实MYSQL自带的还有其他各种测试，这里就不一一介绍了，基本是大同小异，至于测试结果，主要显示是CPU耗费的资源，包括用户，系统的占用情况，当测试结束后，它会自动将结果以文本文件格式保存到 /usr/local/mysql/sql-bench/output 目录下，方便以后分析。
4、super smack(单一组件测试)
super smack是一个强大的广受赞誉的压力测试工具，支持MySQL和PostgreSQL数据库。下载地址为：
   
http://vegan.net/tony/supersmack/super-smack-1.3.tar.gz
下载，解压并安装：
# wget http://vegan.net/tony/supersmack/super-smack-1.3.tar.gz  

# tar xvzf super-smack-1.3.tar.gz  
# cd super-smack-1.3  

# ./configure –prefix=/usr/local/supersmack –with-mysql –with-mysql-lib=/usr/local/mysql/lib –with-mysql-include=/usr/local/mysql/include  
# make & make install  
配置测试信息：
# cp /usr/share/smacks/select-key.smack ./select-key.smack  

# vi select-key.smack  
文件中的信息，基本就修改用户名和密码即可，保证数据库可以正常操作，下面开始测试：
# /usr/local/supersmack/bin/super-smack -d mysql select-key.smack 10 100  
这个命令意思模拟10个用户，每个用户进行100次事务操作。命令首先会通过执行 gen-data -n 90000 -f %12-12s%n,%25-25s,%n,%d’ ，将输出的信息插入到 /var/smack-data/words.dat文件中。然后在test数据库中创建一个http_auth表，最后将 words.dat文件的信息插入到http_auth表中。测试结果如下：

测试结果分析：
来自10个模拟用户，连接时间最长为79ms,最小0ms,平均为16ms,super-smack总共执行了2000个查询，每个查询都小于1毫秒，服务器平均每秒执行7802.08次select_index型查询。


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u3/111930/showart_2183432.html