免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 7673 | 回复: 25
打印 上一主题 下一主题

[C] 有人愿意参加开发NoSQL? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2013-08-29 22:20 |只看该作者 |倒序浏览
本帖最后由 redor 于 2013-09-07 08:08 编辑

类似mongodb的,目前写了一个框架、可以多机存储数据块和更新。但是mongodb那样复杂的逻辑没实现。
代码迁移到github了 https://github.com/sounos/hidbase

文档都没来得及写,照样是先研究方案再决定怎么写,master的角色类似路由,跟chunkd之间通过心跳检查健康状况,每一条数据有唯一id,master上会cache数据所在节点信息,没有cache的情况下通过组播查询,id和分组有特定关系,每份数据保留最多三份,执行强一致性。

这里的master是googleFS里的master角色 不是主从,chunkd本身没有主从。整个系统分为管理chunkd的master和存储数据的256个组的chunkd 小规模系统每个chunkd可以最多加入256个组,其实就是加入加入组播,要查询某组就直接通过组播查询改组,不影响到其他组,范围有限的主机,就算一千个chunkd 平均每组只有四台,三个备份最多就12个chunkd。


可以供测试的安装包:http://code.xunsu.co/install/all-20130715170205.tar.gz

remote.sh 脚本是通过ssh向目标服务器拷贝rpm安装包,调用install.sh安装, 再调用reset.sh 设置chunkd,reset.sh里的磁盘个数自行修改即可。

安装完成以后本机master的配置文件 /etc/hitrackerd.ini
可通过http://ip:3080/ 配置各chunkd的分组,分组数为256。

有兴趣的同学可以去github申请加入项目 开一个单独的分支修改代码,测试稳定以后提交给我,我来merge进入主干。

开发基础框架基于 sbase https://github.com/sounos/sbase

关于基础的通信框架sbase这里有介绍 http://books.xunsu.co/20130514.pdf

有愿意参加的邮件联系:sounos@gmail.com 争取在CU上开个子板块。

论坛徽章:
7
2015年亚洲杯之约旦
日期:2015-03-05 17:03:522015亚冠之山东鲁能
日期:2015-09-29 13:01:2115-16赛季CBA联赛之四川
日期:2016-01-18 15:47:0215-16赛季CBA联赛之广夏
日期:2016-02-24 11:47:1515-16赛季CBA联赛之辽宁
日期:2016-11-01 09:45:4115-16赛季CBA联赛之青岛
日期:2017-02-15 10:02:182016科比退役纪念章
日期:2017-02-16 17:25:35
2 [报告]
发表于 2013-08-30 11:51 |只看该作者
报个名。。。。。可以参与一下。。。

论坛徽章:
0
3 [报告]
发表于 2013-08-30 13:00 |只看该作者
关注,存支持一下。

论坛徽章:
0
4 [报告]
发表于 2013-08-30 14:36 |只看该作者
有魄力,精神支持

论坛徽章:
0
5 [报告]
发表于 2013-08-30 15:52 |只看该作者
linggang_123 发表于 2013-08-30 11:51
报个名。。。。。可以参与一下。。。


集思广益、多听听大家的想法

论坛徽章:
1
2015年迎新春徽章
日期:2015-03-04 09:56:11
6 [报告]
发表于 2013-08-30 16:14 |只看该作者
很好,继续前行。

论坛徽章:
0
7 [报告]
发表于 2013-08-31 11:43 |只看该作者
用什么结构存储的? BTree还是LSM?

论坛徽章:
89
水瓶座
日期:2014-04-01 08:53:31天蝎座
日期:2014-04-01 08:53:53天秤座
日期:2014-04-01 08:54:02射手座
日期:2014-04-01 08:54:15子鼠
日期:2014-04-01 08:55:35辰龙
日期:2014-04-01 08:56:36未羊
日期:2014-04-01 08:56:27戌狗
日期:2014-04-01 08:56:13亥猪
日期:2014-04-01 08:56:02亥猪
日期:2014-04-08 08:38:58程序设计版块每日发帖之星
日期:2016-01-05 06:20:00程序设计版块每日发帖之星
日期:2016-01-07 06:20:00
8 [报告]
发表于 2013-08-31 19:36 |只看该作者
在我过的好之前,我只能是使用开源社区的劳动成果。

论坛徽章:
17
处女座
日期:2013-08-27 09:59:352015亚冠之柏太阳神
日期:2015-07-30 10:16:402015亚冠之萨济拖拉机
日期:2015-07-29 18:58:182015年亚洲杯之巴勒斯坦
日期:2015-03-06 17:38:17摩羯座
日期:2014-12-11 21:31:34戌狗
日期:2014-07-20 20:57:32子鼠
日期:2014-05-15 16:25:21亥猪
日期:2014-02-11 17:32:05丑牛
日期:2014-01-20 15:45:51丑牛
日期:2013-10-22 11:12:56双子座
日期:2013-10-18 16:28:17白羊座
日期:2013-10-18 10:50:45
9 [报告]
发表于 2013-08-31 21:08 |只看该作者
回复 8# fender0107401


    一句话反应国情,反应了生活,反应了精神面貌。呵呵

论坛徽章:
0
10 [报告]
发表于 2013-09-01 10:12 |只看该作者
回复 7# liexusong


    btree 做索引 数据块和索引分离
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP