免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: Gray1982

【讨论】电商/搜索/广告架构中的分布式文件系统(c) [复制链接]

论坛徽章:
0
发表于 2012-04-01 14:23 |显示全部楼层
最近也在关注glusterfs。同样想在生产环境中应用,个人感觉这是个轻量级的分布式文件系统。不知应用情况如何
gavinzhm 发表于 2012-03-27 14:47
glusterfs被红帽收了之后感觉前景会更好一些
没直接放到过生产环境中,不知道可用性怎么样,有待研究

论坛徽章:
0
发表于 2012-04-01 19:02 |显示全部楼层
我想学习一下分布式文件系统的内部原理
现在有那个文件系统比较适合学习呢?
轻量的 经典的 方便阅读的

论坛徽章:
0
发表于 2012-04-04 00:03 |显示全部楼层
eclipse_2 发表于 2012-04-01 19:02
我想学习一下分布式文件系统的内部原理
现在有那个文件系统比较适合学习呢?
轻量的 经典的 方便阅读的


现在比较合适的分布式文件系统是MFS

简单的说下原理
1、高可靠性
2、轻松动态扩容
3、可以设置删除文件的空间回收时间
4、优越的性能


它的组成的几个部分:
1、元数据服务器。
在整个体系中负责管理文件系统,维护这元数据。目前版本只支持单个Master服务器,存在单点故障的风险,建议采用性能稳定的服务器充当。
2、元数据日志服务器(MetaLogger)
备份Master服务器的变化日志文件,文件类型为:changelog_ml.*.mfs 。当master服务器数据丢失或者损坏,可以从日志服务器中取得文件恢复。
3、数据存储服务器(Chunk Server)
真正存储数据的服务器。存数文件时,会把文件分块保存,并在数据服务器之间复制,数据服务器越多,能使用的“容量”就越大,可靠性就越高,性能越好。
4、客户端。
可以像挂载NFS一样挂载MFS文件系统,操作一样。

它的处理过程:
1、客户端向元数据服务器发出读请求。
2、元数据服务器把所需数据存放的位置(Chunk Server的IP地址和chunk编号)告知客户端。
3、客户端向已知的Chunk Server请求发送数据。
4、Chunk Server向客户端发送数据。
5、Chunk Server与其他Chunk Server进行数据同步。
6、Chunk Server之间同步成功。
7、Chunk Server告知客户端数据写入成功。
8、客户端告知元数据服务器本次写入完毕。

配置起来还是比较简单的,可以参考下我的作品(我的签名)

论坛徽章:
0
发表于 2012-04-04 07:44 |显示全部楼层
我爸面对我发胖一事发表了看法:没有韩红的命,还得了韩红的病。     

94你................










signature..................................
仙府之缘

论坛徽章:
0
发表于 2012-04-04 18:21 |显示全部楼层
回复 53# Gray1982


    找了几天的资料 确实感觉MFS比较合适 多谢指点

论坛徽章:
0
发表于 2012-04-04 18:23 |显示全部楼层
回复 44# crazyhadoop

我们是3G的数据,而且分成十几个字段来查询,是挺耗内存的,调试机4G的内存,运行所有服务,也就剩200M物理内存了。
   

论坛徽章:
0
发表于 2012-04-05 09:49 |显示全部楼层
eclipse_2 发表于 2012-04-04 18:21
回复 53# Gray1982


客气,这不就是大家一起学习嘛。)

论坛徽章:
0
发表于 2012-04-05 09:51 |显示全部楼层
回复 56# napoleon516


JAVA的一般都比较消耗内存,建议16G以上跑,这样效果也会好一些。)
   

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
发表于 2012-04-06 08:32 |显示全部楼层
分布式文件如何保持一致性也是一个难点撒~当某些节点出了故障,数据存储如何分配,数据如何恢复很让人头疼啊。

论坛徽章:
0
发表于 2012-04-06 09:56 |显示全部楼层
crazyhadoop 发表于 2012-04-06 08:32
分布式文件如何保持一致性也是一个难点撒~当某些节点出了故障,数据存储如何分配,数据如何恢复很让人头疼啊 ...


尤其是经常有问题的硬盘故障。不过,一般情况下,平台应该是自动分配的,比如Hadoop就是。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

基于案例的 SQL 优化实战训练营

讲师:中电福富特级专家梁敬彬,参与本次课程培训,你将收获:
1. 能编写出较为高效的 SQL;
2. 能解决70%以上的数据库常见优化问题;
3. 能得到老师提供的高效的相关工具和解决方案;
4. 能举一反三,收获不仅仅是 SQL 优化。
现在购票享受8.8折优惠!
----------------------------------------
优惠时间:2019年3月20日前

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP