Chinaunix

标题: MYSQL服务维护笔记 [打印本页]

作者: chedong 时间: 2002-12-17 00:10
标题: MYSQL服务维护笔记
http://www.chedong.com/tech/mysql.html
MYSQL服务维护笔记

作者：车东 chedong@bigfoot.com

最后更新：2002-08-23 17:56:46

版权声明：可以任意转载，转载时请务必标明原始出处和作者信息

使用MYSQL服务的一些经验，主要从以下几个方面考虑的MYSQL服务规划设计。
1 MYSQL服务的安装/配置的通用性；
2 系统的升级和数据迁移方便性；
3 备份和系统快速恢复；

MYSQL服务器的规划
=================
为了以后维护，升级备份的方便和数据的安全性，最好将MYSQL程序文件和数据分别安装在“不同的硬件”上。
/
/usr          <== 操作系统       }==>; 硬盘1
/home/mysql    <== mysql应用程序
...
/data/app_1/    <== 应用数据和脚本 }==>; 硬盘2
/data/app_2/
/data/app_3/

mysql服务的安装和服务的启动：
MYSQL一般使用当前STABLE的版本，尽量不使用--with-charset=选项，我感觉with-charset只在按字母排序的时候才有用，这些选项会对数据的迁移带来很多麻烦。
configure --prefix=/home/mysql
make
make install

服务的启动和停止
================
1 复制缺省的mysql/var/mysql到 /data/app_1/目录下，
2 MYSQLD的启动脚本：start_mysql.sh
#!/bin/sh
rundir=`dirname "$0"`
echo "$rundir"
/home/mysql/bin/safe_mysqld --user=mysql --pid-file="$rundir"/mysql.pid --datadir="$rundir"/var "$@"\
-O max_connections=500 -O wait_timeout=600 -O key_buffer=32M --port=3402 --socket="$rundir"/mysql.sock &

注释：
--pid-file="$rundir"/mysql.pid  --socket="$rundir"/mysql.sock --datadir="$rundir"/var
目的都是将相应数据和应用临时文件放在一起；
-O 后面一般是服务器启动全局变量优化参数，有时候需要根据具体应用调整；
--port: 不同的应用使用PORT参数分布到不同的服务上去，一个服务可以提供的连接数一般是MYSQL服务的主要瓶颈；

修改不同的服务到不同的端口后，在rc.local文件中加入：
/data/app_1/start_mysql.sh
/data/app_2/start_mysql.sh
/data/app_3/start_mysql.sh
注意：必须写全路径

3 MYSQLD的停止脚本：stop_mysql.sh
#!/bin/sh
rundir=`dirname "$0"`
echo "$rundir"
/home/mysql/bin/mysqladmin -u mysql -S"$rundir"/mysql.sock shutdown

使用这个脚本的好处在于：
1 多个服务启动：只需要修改脚本中的--port=参数。单个目录下的数据和服务脚本都是可以独立打包的。
2 所有服务相应文件都位于/data/app_1/目录下：比如：mysql.pid mysql.sock，当一台服务器上启动多个服务时，多个服务不会互相影响。但都放到缺省的/tmp/下则有可能被其他应用误删。
3 当硬盘1出问题以后，直接将硬盘2放到一台装好MYSQL的服务器上就可以立刻恢复服务（如果放到my.cnf里则还需要备份相应的配置文件）。

服务启动后/data/app_1/下相应的文件和目录分布如下：
/data/app_1/
         start_mysql.sh 服务启动脚本
         stop_mysql.sh  服务停止脚本
         mysql.pid    服务的进程ID
         mysql.sock    服务的SOCK
         var/          数据区
            mysql/    用户库
            app_1_db_1/ 应用库
            app_2_db_2/
            ...
/data/app_2/
         ...

查看所有的应用进程ID：
cat /data/*/mysql.pid

查看所有数据库的错误日志：
cat /data/*/var/*.err

个人建议：MYSQL的主要瓶颈在PORT的连接数上，因此，将表结构优化好以后，相应单个MYSQL服务的CPU占用仍然在10％以上，就要考虑将服务拆分到多个PORT上运行了。

服务的备份
==========
尽量使用MYSQL DUMP而不是直接备份数据文件，以下是一个按weekday将数据轮循备份的脚本：备份的间隔和周期可以根据备份的需求确定
/home/mysql/bin/mysqldump -S/data/app_1/mysql.sock -umysql db_name | gzip -f>;/path/to/backup/db_name.`data +%w`.dump.gz
因此写在CRONTAB中一般是：
* 6 * * * /home/mysql/bin/mysqldump -S/data/app_1/mysql.sock -umysql db_name | gzip -f>;/path/to/backup/db_name.`data +\%w`.dump.gz
注意：
1 在crontab中'%'需要转义成'\%'
2 根据日志统计，应用负载最低的时候一般是在早上6点

先备份在本地然后传到远程的备份服务器上，或者直接建立一个数据库备份帐号，直接在远程的服务器上备份，远程备份只需要将以上脚本中的-S /path/to/msyql.sock改成-h IP.ADDRESS即可。

数据的恢复和系统的升级
======================
日常维护和数据迁移：在数据盘没有被破坏的情况下
硬盘一般是系统中寿命最低的硬件。而系统（包括操作系统和MYSQL应用）的升级和硬件升级，都会遇到数据迁移的问题。
只要数据不变，先装好服务器，然后直接将数据盘（硬盘2）安装上，只需要将启动脚本重新加入到rc.local文件中，系统就算是很好的恢复了。

灾难恢复：数据本身被破坏的情况下
确定破坏的时间点，然后从备份数据中恢复。

应用的设计要点
==============

非用数据库不可吗？
数据库的确可以简化很多应用的结构设计，但本身也是一个系统资源消耗比较大的应用。所以很多应用如果没有很高的实时统计需求的话，完全可以先记录到文件日志中，定期的导入到数据库中做后续统计分析。如果还是需要记录2维表结构，结构足够简单的话可以使用DBM结构。即使需要使用数据库的，应用如果没有太复杂的数据完整性需求的化，完全可以不使用那些支持外键的商业数据库，
数据库服务的主要瓶颈：单个服务的连接数
对于一个应用来说，如果数据库表结构的设计能够按照数据库原理的范式来设计的话，并且已经使用了最新版本的MYSQL，并且按照比较优化的方式运行了，那么最后的主要瓶颈一般在于单个服务的连接数，即使一个数据库可以支持并发500个连接，最好也不要把应用用到这个地步，因为并发连接数过多数据库服务本身用于调度的线程的开销也会非常大了。所以如果应用允许的话：让一台机器多跑几个MYSQL服务分担。将服务均衡的规划到多个MYSQL服务端口上：比如app_1 ==>; 3301 app_2 ==>; 3302...app_9 ==>; 3309。一个1G内存的机器跑上10个MYSQL是很正常的。让10个MYSQLD承担1000个并发连接效率要比让2个MYSQLD承担1000个效率高的多。当然，这样也会带来一些应用编程上的复杂度；
使用单独的数据库服务器（不要和前台WEB服务抢内存），MYSQL拥有更多的内存就可能能有效的进行结果集的缓存；
应用尽量使用PCONNECT和polling机制，用于节省MYSQL服务建立连接的开销；
表的横向拆分：让最常被访问的10%的数据放在一个小表里，90%的历史数据放在一个归档表里，数据中间通过定期“搬家”和定期删除无效数据来节省。这样对于应用来说总是在10%数据中进行选择，比较有利于数据的缓存，不要指望MYSQL中对单表记录数在10万级以上还有比较高的效率。
表的纵向拆分（过渡范化）：将所有的定长字段（char, int等）放在一个表里，所有的变长字段（varchar,text,blob等）放在另外一个表里，2个表之间通过主键关联，这样，定长字段表可以得到很大的优化（甚至可以使用HEAP表类型，数据完全在内存中存取），这里也说明另外一个原则，对于我们来说，尽量使用定长字段可以通过空间的损失换取访问效率的提高。MYSQL之所以支持多种表类型，实际上是针对不同应用提供了不同的优化方式；
仔细的检查应用的索引设计，甚至在服务启动中加入 --log-slow-queries[=file]用于跟踪分析应用瓶颈。
　

参考文档：

MYSQL的命令行选项请参考：
http://www.mysql.com/doc/C/o/Command-line_options.html

<<返回

作者: fastethernet 时间: 2003-06-04 10:00
标题: MYSQL服务维护笔记
good!

作者: 巴豆 时间: 2003-09-16 09:21
提示: 作者被禁止或删除内容自动屏蔽

作者: DueSouth 时间: 2004-01-15 22:13
标题: MYSQL服务维护笔记
你的mysql规划怎么和安装Oracle的规划很类似么，
呵呵，搞Oracle出身吧？ ^_^

作者: bs 时间: 2007-05-05 17:47
为什么说“尽量使用MYSQL DUMP而不是直接备份数据文件”

作者: likuku 时间: 2007-05-09 00:18

原帖由 bs 于 2007-5-5 17:47 发表
为什么说“尽量使用MYSQL DUMP而不是直接备份数据文件”

直接备份数据文件，备份时，保证数据库服务程序(mysqld)是关闭的，导入时要保证 mysql软件完全一致(至少版本号完全一致，编译参数一致，环境变量一致，配置一致)。

不想停机/暂停Mysql服务来在线备份数据，那只有选择 solid for mysql 数据库引擎了。

[ 本帖最后由 likuku 于 2007-5-9 00:21 编辑 ]

作者: lynnteng0 时间: 2010-12-22 10:21
来迟了，用户已经被删除

作者: cores_cu 时间: 2010-12-23 15:48

来迟了，用户已经被删除
lynnteng0 发表于 2010-12-22 10:21

好多都给删除了

作者: liyihongcug 时间: 2010-12-23 19:49
我要

作者: riwuyou 时间: 2010-12-25 14:28
虽然看不到贴

作者: hq8318 时间: 2010-12-26 15:10
用户已经被删除，看不到贴了

作者: trivialman 时间: 2010-12-28 11:07
真的是来迟了

为什么都给删了

作者: Mysillygirl 时间: 2010-12-31 17:47
回复 1# chedong

ttttttttttttttttttttt

作者: xiaochu 时间: 2011-01-05 12:49
回复 1# chedong

学习一下

作者: 纳尔逊·曼德拉 时间: 2011-01-11 11:52
提示: 作者被禁止或删除内容自动屏蔽

作者: Ivan天骄 时间: 2011-02-12 11:09
怎么看不到？不会是版权问题吧

作者: huochhb 时间: 2011-02-17 14:04
回帖看贴，学习学习

作者: fengfeng919 时间: 2011-09-07 14:59
怎么坛子里很多贴会莫名其妙的删除了呢，明明加精了的帖子，不解 ……

作者: shplpy 时间: 2011-09-08 20:28
干脆帖子也直接删除了吧

作者: wbamyln 时间: 2011-09-21 20:13
看看先。。。。。。。。。。。

作者: love_net 时间: 2011-10-20 16:37

作者: fengyun530 时间: 2012-04-01 08:56
看不见的帖子也加精，晕死。为什么不统一删除了。既然都已经看不见了。

作者: vcdog 时间: 2012-04-07 18:18
顶完下来看看
感谢楼主分享

作者: ctcwri 时间: 2012-04-07 18:21
这说明做好和管理好一个论坛是不容易的。

作者: alang85 时间: 2012-04-10 09:41
怎么看不到回复 1# chedong

作者: mengchang 时间: 2012-04-12 14:46
能发我一份吗

作者: 814635331 时间: 2012-04-24 15:10
回复 2# fastethernet

惹人天然天特瑞特

作者: 龙雪刚 时间: 2012-04-25 10:19
版主，这样不行啊。明明加精了都来学习来着，为什么被删除了？既然加精了就说明LZ说的有道理。大家共同学习不就是这个论坛的本质吗？如果贴子因为什么原因被清除了，也最好说明一下原因吧。弄得我们不知所云。

作者: ooooldman 时间: 2012-04-25 10:22

发我一份看看

作者: 420521176 时间: 2012-05-06 19:42
呵呵这个东西很神秘谢谢楼主现身分享！

作者: alang85 时间: 2012-05-07 15:01
回复 1# chedong

怎么搞的。就删除呢。

作者: yrq3112 时间: 2012-06-11 15:29
为什么不能看啊？
删除了么？

作者: rjzou2006 时间: 2012-06-12 11:35
很好。good

作者: chinafenghao 时间: 2012-06-12 13:09

这个是什么情况

作者: amonest 时间: 2012-06-15 08:32
总结的很好，谢谢分享！

作者: guliny 时间: 2012-08-07 09:27
嗯，好笔记，：-）

作者: 幕南风 时间: 2013-04-10 20:43
好贴子支持一下

作者: pandorabag 时间: 2015-01-23 17:56
感谢楼主的分享

作者: hq8318 时间: 2015-02-25 00:06
mark,谢谢分享

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)