免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3602 | 回复: 4
打印 上一主题 下一主题

[FastDFS] 关于FastDHT扩容 [复制链接]

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2011-02-18 16:39 |只看该作者 |倒序浏览
本帖最后由 happy_fish100 于 2011-02-18 16:48 编辑

FastDHT扩容时,为了避免重新进行hash分布(rehash),FastDHT引入了逻辑分组的概念。一个物理分组对应一组服务器,一组服务器(物理分组)上可以有多个逻辑分组。FastDHT的一个服务进程支持多个逻辑分组,每个组对应一个BDB的数据文件。这样的设计为以后的扩容提供了便利。在初期估算出今后需要的大致分组数目(逻辑分组数),然后将逻辑分组对应到物理分组中。扩容时,将一个或多个逻辑分组迁移到新增的物理分组上,只需要拷贝对应的BDB数据文件,并修改相应的配置文件,重启服务器端和客户端程序即可。

比如一开始只有2台服务器,根据业务量预计总共10个group就足够了,fdht_servers.conf中配置的示例如下:
group_count = 10
group0 = 192.168.0.11:11411
group0 = 192.168.0.12:11411
group1 = 192.168.0.11:11411
group1 = 192.168.0.12:11411
group2 = 192.168.0.11:11411
group2 = 192.168.0.12:11411
group3 = 192.168.0.11:11411
group3 = 192.168.0.12:11411
group4 = 192.168.0.11:11411
group4 = 192.168.0.12:11411
group5 = 192.168.0.11:11411
group5 = 192.168.0.12:11411
group6 = 192.168.0.11:11411
group6 = 192.168.0.12:11411
group7 = 192.168.0.11:11411
group7 = 192.168.0.12:11411
group8 = 192.168.0.11:11411
group8 = 192.168.0.12:11411
group9 = 192.168.0.11:11411
group9 = 192.168.0.12:11411

fdhtd运行后,将在${base_path}/data目录下,生成如下10个BDB数据文件:
db000,db001,db002,。。。,db009

扩容时,将对应的数据文件复制到新的机器上,设置好配置文件,然后重启进程即可。

友情提示:fdht_servers.conf这个配置文件,各台server和client,都使用同一份配置文件即可。

论坛徽章:
0
2 [报告]
发表于 2013-05-07 11:04 |只看该作者
回复 1# happy_fish100
请问一下,复制对应文件只需要复制BDB文件吗?还需不需要复制别的binlog.000之类的文件?

还有,fastdht的多个组是怎么存放数据的?轮询?指定?还是free space最大的组?在配置文档中没看到有设置像store那样的存放方式的项。

还希望鱼大指点一下疑惑。

   

论坛徽章:
0
3 [报告]
发表于 2013-10-20 17:35 |只看该作者
同问楼上的问题

论坛徽章:
0
4 [报告]
发表于 2013-10-20 17:37 |只看该作者
回复 1# happy_fish100

同问楼上的问题,具体什么机制选择某个组某个机器做存储的   

论坛徽章:
0
5 [报告]
发表于 2013-10-20 17:37 |只看该作者
回复 1# happy_fish100

同问楼上的问题,具体什么机制选择某个组某个机器做存储的   
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP