好久不来了!发布一种分布式存储探索方案!

redor

http://hidbase.googlecode.com/files/source.tar.gz

经过一段时间对分布式存储的研究 突发奇想搞了一种无需master节点的存储方案, 消息查询使用组播, 数据的收发用TCP.

大致结构就是只有客户端和块儿服务器, 块儿服务器配置如图, 单台服务可以根据硬盘数量配置, 每块儿硬盘配置为一个独立的服务端口.

每个服务可配置加入的组播, 组播的IP地址最后一位代表数据ID的HASH命中, 比如 人为把数据分为16组, 根据ID实际查找的时候就只会在加入ID%16组播上查找数据和存储.

测试方法:
1. 下载 source.tar.gz 依次安装libevbase libsbase hidbase ./configure --prefix=/usr && make install

2. 启动hichunkd服务 /usr/sbin/hichunkd -d -c /etc/hichunkd.ini

3. 通过访问 http://ip:2480/ 配置hichunkd 添加磁盘, 注意:对应的端口号要用来做ID标识, 不同的机器上端口也不要重复， 端口不要大于10240; 然后再添加组播, 默认只有16各组, 一定要填满.

4. 通过hidbase包里的 wdbio.sh 进行测试, 刷新配置管理界面数据量和磁盘占用量会变化.


写得有点乱, 昨天没睡好觉.... 看不明白回复我吧.

redor

是不是大家还是没看懂? 每个服务都要加入最少一个组播 组播地址 前三位必须一致, 最后一位用来区分组, 每条数据根据K=ID%N分配到xxx.xxx.xxx.k对应的服务上 N为组数, 最大256 我默认最大16.

每个组可以不限制的机器数, 但是每次数据块儿查询都会发送到这个组所有机器上去.

redor

有类似研究的同学可以多给点意见.

agathewiky

关注一下。。。

ggzwtj

木有图啊

redor

回复 5# ggzwtj


    看不到图?