Chinaunix

标题: Redis3.0集群代理开源了 [打印本页]

作者: colin8080 时间: 2015-09-23 18:17
标题: Redis3.0集群代理开源了
本帖最后由 colin8080 于 2015-10-21 17:46 编辑

RedisClusterProxy.rar (28.5 KB, 下载次数: 179)

正名：RedisClusterProxy Redis3.0集群代理服务器

说明：

鉴于Redis3.0所谓的ASK 转向/MOVED 转向机制，存在客户端访问Redis服务器的Key需要二次定位，于是开发了Redis3.0集群代理服务器软件，

根据Redis3.0的哈希槽分配情况，通过代理实现户端访问Redis服务器Key的一次定位，就算是Redis3.0出现主备切换情况，RedisClusterProxy

会根据Redis3.0提供的转向信息更新哈希槽分配，同样可以一次定位；如果出现Redis3.0数据迁移的情况下，只要更新运行中配置run.conf中的哈希槽分配

信息就可以在不重启系统的情况下实现正常Key定位。

开发环境：Linux 2.6.18 64位 gcc 版本 3.4.6 C++，其他Linux版本必须兼容epoll，根据编译情况稍加修改就可以了

使用方法：

1.gmake编译完成生成可执行文件RedisClusterProxy；

2.根据自己的情况配置init.conf和run.conf，init.conf为初始配置，系统运行之后更改不会再起作用；run.conf为运行中配置，可以系统运行中更改，1分钟之后生效：

IP = 10.12.8.154 //集群代理服务器IP

Port = 7777 //集群代理服务器端口

ProcessNum = 5 //进程数

IOThreadNum = 3 //数据收发处理线程数

ProxyThreadNum = 20 //同步发送和接收Redis3.0数据线程数

EpollWaitTimeOut = 5000 //Epoll等待超时

RedisSlotNum = 16384 //哈希槽总数

RedisSlotDist = 10.12.8.154:6379(10923-16383);10.12.8.155:6379(5461-10922);10.12.8.156:6379(0-5460); //哈希槽分配

SendTimeOut = 1500 //发送数据超时

RecvTimeOut = 1500 //接收数据超时

SocketTimeOut = 300000 //socket有效期

LogLevel = 7 //日志等级

Exit = 0 //为1时自动关闭系统，只有为0时系统才能启动

作者: evaspring 时间: 2015-09-29 17:41
支持楼主

作者: lshlfyf 时间: 2015-09-29 17:53
支持楼主

作者: cokeboL 时间: 2015-09-29 18:03
个人觉得，redis集群不如多点，集群内单点稳定性、流量及性能瓶颈，都麻烦

业务进程与单点之间的绑定，业务层之上数据映射和统一集群可能更好

作者: coundy 时间: 2015-09-30 16:37
很不错，第一次下的怎么打不开压缩呢？

作者: gsytzsh 时间: 2015-11-05 11:59
楼主我用了你的软件好像不行啊  是我哪里配置出问题了吗
redis-cli  -c -h 192.168.3.85 -p 7777
192.168.3.85:7777> info

这个  走到这直接运行不下去了

作者: colin8080 时间: 2015-11-05 13:19
回复 6# gsytzsh

这个是你自己的Redis-cluster配置有问题，与集群代理有什么关系，我这个集群代理软件是独立运行的，不会影响Redis3.0自身的运行。

作者: gsytzsh 时间: 2015-11-05 14:05
回复 7# colin8080
楼主这个redis也要配置官方的集群的吗

作者: gsytzsh 时间: 2015-11-05 14:11
官方的集群配置好以后  哈西槽是已经配置好了的
RedisSlotDist = 10.12.8.154:6379(10923-16383);10.12.8.155:6379(5461-10922);10.12.8.156:6379(0-5460);  //哈希槽分配

你这个  是需要重新配置的吗

作者: colin8080 时间: 2015-11-05 16:12
回复 9# gsytzsh

这个肯定要根据你的集群哈希槽分配来配置啊，要不然怎么关联？

作者: colin8080 时间: 2015-11-05 16:14
回复 8# gsytzsh

你不配置集群就没有必要用这个代理啊！

作者: gsytzsh 时间: 2015-11-06 10:23
回复 11# colin8080

我用了集群的呢
但是哈西槽是会变的啊当redis down的时候哈西槽就要重新分配

作者: pei5 时间: 2016-02-16 16:03
我也编译试了一下，在集群里命令都能正常执行，使用这个代理以后出现跟gsytzsh一样的情况。

作者: colin8080 时间: 2016-03-14 10:58
回复 13# pei5

大家使用之前，详细看下文档并试着动动手，开源这款软件纯属兴趣使然，没有任何利益，

大家都是搞IT的，最起码也大学毕业吧，没有必要提一些弱弱的问题，我都不想回答。

在你的哈希槽值重新分配之后，需要手动更新配置文档，不需要重启系统，系统稍后读取新的配置。

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)