lbtianya 发表于 2012-10-19 10:26

NoSql有没有好的数据库同步算法

如果不用数据库中的同步模块,自己写这个模块,不知道有没有好的算法,保证同步速度快而且错误率低。

lbtianya 发表于 2012-11-19 13:39

看了rsync的算法后有了灵感,同步采用3级:
1.实时同步
2.局部同步
3.全局同步
提到的就是全局同步算法:简单来说
1.选取一个db,master先计算每条记录的md5,和key值一起写入文件File1,完成后进行lzo压缩发送到slave
2.slave 收到后解压根据key值散列到hash表中(采用魔兽的hash算法)
3.slave读取db中的记录,然后到hash表中找记录的key值。如果能找到说明都有该记录(并且删除该hash数据),否则删除slave中的记录(以master为主) . 如果找到直接比较md5值,如果相同说明一致,否则slave需要修改该记录,把key值写入文件File2.
4.slave完成key查找后,再遍历hash表,如果有值说明是master中有,slave中没有的数据.把key值写入File2.
5.完成3,4后把文件压缩发送到master
6.master收到后把slave需要的数据写入文件File3中,压缩发送给slave
7.slave收到后对数据库进行更新操作。

以上是我的初步想法,并已经实现了该模型。 我现在是没事找事,不必当真,希望继续和大家讨论。


页: [1]
查看完整版本: NoSql有没有好的数据库同步算法