Chinaunix

标题: Replication优化的一些个人总结 [打印本页]

作者: voxxu 时间: 2009-06-12 17:22
标题: Replication优化的一些个人总结
这两天有空看了一下ppc2009大会的一些pdf，发现这次关于Replication的讨论还是很多的，很多内容都很实用，就总结了一下。本人英文水平水平有限，难免有翻译的不对的地方，有疑问欢迎讨论：）

       Replication延时的类型

1.       固定性的延时
——Slave的数据持续性的落后于Master并且一直无法与Master的数据保持一致。
——Slave的数据经常在白天落后于Master，而在晚上可以赶上并与Master的记录保持一致。
这种类型的延时通常是由于Slave服务器的负载已经到达了上限或在白天访问量大的时候到达上限造成的。

2.       非固定性的延时
——Slave的数据只是短暂的落后于Master，可在短时间内恢复
这类型的延时通常与批量任务和报表有关，效率差的查询也会导致这类延时

       Mysql Replication的限制

Mysql的Replication是单线程的，意味着只能有效的使用一个CPU内核和一个磁盘，一条复杂的查询或者事务都导致进程被阻塞，不过现在针对5.1版本的多线程Replication补丁，http://forge.mysql.com/wiki/ReplicationFeatures/ParallelSlave，还是pre版，有很多限制，感兴趣的可以去看看。

       Replication的容量

1.       理解什么是Replication的容量
可以将Replication暂停一个小时，重新启动Replication后，观察Slave的数据多久可以与Master一致。从Replication重新启动到和Master数据一致所花费的时间与Replication暂停的时间的比值就是Replication的容量。

2.       建议保持Replication的容量在3倍以上，即延迟一个小时的数据，Slave只需要20分钟就能与Master的数据一致。

       Replication的优化

1.       5.0的mysql中避免类似以下的更新语句
INSERT … SELECT <complex query>
UPDATE .... WHERE <complex clause>
复杂的查询会导致Replication线程阻塞。如果是insert或update与select结合的语句，可以讲select单独执行并保存在临时表中，然后再执行insert或者update。
如果使用的是5.1的mysql，新功能中的行级Replication（RBR）可以解决这个问题。RBR可以将在Master上通过复杂查询后更新的结果直接传给Slave，Slave可以直接将结果更新到数据库中。

2.       避免大的事务
太大的事务会造成Replication长时间阻塞，数据会严重滞后于Master。

       Slave服务器的硬件选择

更快的CPU内核，对于单线程的Replication多核CPU是没有任何优势的。
更高速的硬盘，包括更高的转速和更好的高速缓存命中率，如果有钱的话上SSD吧

       主从结构的扩展性问题

1.       如何降低写操作的频率
Master的写操作会扩散到所有的Slave上，所以高频率的写操作会降低Slave的读操作效率。
至少保持一台Slave做全库同步，其他的Slave可以只做部分表的同步。当然，这需要web应用程序的配合来分配哪些查询读哪些Slave。
将一些更新操作放到memcached中，例如session和计数器。
Slave使用myisam引擎
将一些写入量很大的更新操作直接在slave上执行，而不通过Replication。

2.       如何更有效的利用Slave的硬件资源
使用分区
有选择的对表进行同步
在Slave上对数据进行归档。
Session的持久化
为不同的应用服务器分配不同的Slave进行读操作。
或者根据查询类型的不同来分配不同的Slave。

3.       如何使你的程序最大化的利用Slave
将对数据更新不敏感的查询放到Slave上，而需要实时数据的查询则放到Master。
通过session的持久化，让做了修改的用户首先看到修改的内容，其他的用户可以等待Slave更新后再查看新内容。
对于某些数据，可以用memcached来存放数据的版本号，读Slave的程序可以先对比Slave的数据和memcached数据的版本，如果不一致则去读master。用户和博客类的信息可以用这种方法。
在查询前可以通过SHOW SLAVE STATUS检测Slave的状态，然后根据返回的结果进行服务器的选择。

作者: Coolriver 时间: 2009-06-15 21:51
不错，支持一下．

作者: 到处流浪的猫 时间: 2009-06-16 01:00
学习

作者: ruochen 时间: 2009-06-16 09:16
留个脚印

作者: denniswwh 时间: 2009-06-16 17:12
好贴，顶啊

作者: mageguoshi 时间: 2009-06-17 09:54
很不错！

作者: phphp 时间: 2009-06-17 21:17
支持一下

作者: 聪明笨小孩 时间: 2009-06-19 09:39
学习

作者: jeffyan 时间: 2009-06-19 17:06
Replication 说实在的不好用

作者: voxxu 时间: 2009-06-22 09:21
标题: 回复 #9 jeffyan 的帖子
呵呵，说实话，我也觉得不好用。不过说实话，很多人还是在用

作者: nianzong 时间: 2009-07-03 12:32
mysql，说实在的，真的很垃圾

作者: nianzong 时间: 2009-07-03 13:19
用得越深，越觉得它不可靠

作者: simeiren 时间: 2009-07-03 13:39
nianzong 不要轻易下结论！
做技术不是做愤青

作者: clasp 时间: 2009-07-06 11:52
谁用谁知道

作者: voxxu 时间: 2009-07-06 14:27
呵呵，觉得垃圾可以不用，没人会逼着你用。用mysql的大公司比比皆是，不会因为你说垃圾别人就不用了

作者: 我是DBA 时间: 2009-07-07 10:27
萝卜青菜各有所爱
不要因为你不爱
就说它的坏

作者: puwei007 时间: 2009-07-09 15:19
MYSQL镜像其实是个相当不错的功能，但不适用于实时性较高的数据。

作者: justin033 时间: 2009-07-09 23:52
好东西，能不能把原文档共享出来，谢谢！

作者: voxxu 时间: 2009-07-13 15:50
标题: 回复 #18 justin033 的帖子
http://conferences.percona.com/p ... -2009/schedule.html

这里是原文档

作者: hancang2000 时间: 2009-07-17 15:16
提示: 作者被禁止或删除内容自动屏蔽

作者: 网鬼 时间: 2009-07-18 07:04
学习一下

作者: beyondfly 时间: 2009-12-06 21:39
好东西，学习

作者: justlooks 时间: 2009-12-07 11:14
目前有用SSD硬盘的么？据说data corruption的几率较高，而且数据一旦损坏，是完全不可修复的

作者: yueliangdao0608 时间: 2009-12-07 17:08
总结的不错。

作者: ruochen 时间: 2009-12-07 17:53

原帖由 yueliangdao0608 于 2009-12-7 17:08 发表
总结的不错。

BZ很久没有来了

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)