免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12
最近访问板块 发新帖
楼主: happy_fish100
打印 上一主题 下一主题

[mogileFS] FastFDS和MogileFS的对比 [复制链接]

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
11 [报告]
发表于 2009-07-08 09:05 |只看该作者

回复 #10 oralib 的帖子

上传文件成功后,文件ID由storage server返回给客户端。文件ID中包括了分组、文件路径和文件名等信息,需要由客户端来保存文件ID。因此FastDFS 服务器端是不需要保存文件ID或索引等信息的。这样就避免了像mogileFS借助数据库来存放文件索引信息导致的性能瓶颈问题。

论坛徽章:
0
12 [报告]
发表于 2009-10-29 11:56 |只看该作者
我针对我们的情况,觉得系统存在以下不足,分析来源于PPT里的一句话,不知道正确不正确:

group:组,也可称为卷。同组内服务器上的文件是完全相同的;


缺点:
系统采用group来管理存储,同一组内的服务器的文件是完全相同的;那么要求组内存储空间容量必须一样;这样的要求对于新购服务器可能问题不大,但对于利旧服务器的话有些问题;

这种设计没有办法通过扩充机器来扩充同一组内的容量;因为很有可能机器原有机器没有办法扩容了;

关于负载均衡,group与group之间 没有没有做;这样可能会导致有些组忙,有些组闲;




不知道分析是否正确,请指点一二;

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
13 [报告]
发表于 2009-10-29 15:47 |只看该作者

回复 #12 lwxian 的帖子

你分析得比较有道理的。
同组storage服务器的配置保持一致,这是FastDFS的架构特点所要求的。

>>关于负载均衡,group与group之间 没有没有做;这样可能会导致有些组忙,有些组闲;
你说的是访问的冷热均衡问题,要解决这个问题,要付出相当大的代价。
对于这一点,相信任何分布式文件系统都没有太好的解决方法。

论坛徽章:
0
14 [报告]
发表于 2010-11-25 14:39 |只看该作者
文件ID中包括了分组、文件路径和文件名等信息,需要由客户端来保存文件ID。因此FastDFS 服务器端是不需要保存文件ID或索引等信息的。


客户端将文件ID放在客户端的base_path目录里吗?
如果客户端丢失了这些文件ID,如何找回?

如果客户端不能找回这些文件ID,并做删除操作,那这些文件岂不是一直占用很大的空间?

文件ID是从Client的metadata里检索到的吗?

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
15 [报告]
发表于 2010-11-25 22:10 |只看该作者
回复 14# FunBSD

>>客户端将文件ID放在客户端的base_path目录里吗?
客户端(应用)自己保存即可,比如可以保存到数据库中。

>>如果客户端丢失了这些文件ID,如何找回?
这个就没办法了。对于重要数据,客户端应该采用冗余备份的方案,或者定期备份的做法。

>>如果客户端不能找回这些文件ID,并做删除操作,那这些文件岂不是一直占用很大的空间?
客户端的数据不能轻易丢失吧?

>>文件ID是从Client的metadata里检索到的吗?
文件ID本身是自治的。包含了分组名、文件路径和文件名。

论坛徽章:
0
16 [报告]
发表于 2011-04-12 23:47 |只看该作者
你分析得比较有道理的。
同组storage服务器的配置保持一致,这是FastDFS的架构特点所要求的。

>>关于负 ...
happy_fish100 发表于 2009-10-29 15:47


其实,我们自己是可以做各组之间转移的功能,只是麻烦一点。

有个建议,希望FastDFS提供各组之间转移的功能。还有,最好能做访问量的统计,这样能更好地分析哪些文件访问得多。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP