免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3159 | 回复: 0
打印 上一主题 下一主题

[mogileFS] 选择MogileFS理由 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2011-03-23 21:51 |只看该作者 |倒序浏览
在这个web 2.0的系统中遇到了第一个问题,如果想让更多的web静态内容服务器一起工作,为了节省存储必然让更多的web服务器使用相同的存储。

比如图片图片是静态内容,有如下需求:
1,需要集中存储,也就是对服务的需求者,只有一个统一的接口。     
2,图片需要的存储比较大要稳定,文件不能丢失根据上述要求我们可以采用如下  模式可以使用众多的网络协议来使用File Server上的文件,可以是NFS或是CIFS,甚至可以是SAN(当然,这东东比较贵的说)。但是为了满足上面提出的3个要求,我更倾向于用分布式文件来取代File Server。
MogileFS就是这样一种系统。在这个web 2.0的系统中遇到了第一个问题,如果想让更多的web静态内容服务器一起工作,为了节省存储必然让更多的web服务器使用相同的存储。
比如图片
图片是静态内容,有如下需求:
1, 需要集中存储,也就是对服务的需求者,只有一个统一的接口。
2, 图片需要的存储比较大。
3, 要稳定,文件不能丢失。
根据上述要求我们可以采用如下模式



Web Server可以使用众多的网络协议来使用File Server上的文件,可以是NFS或是CIFS,甚至可以是SAN(当然,这东东比较贵的说)。但是为了满足上面提出的3个要求,我更倾向于用分布式文件来取代File Server。
MogileFS就是这样一种系统。
MogileFS利用多个有自己的计算资源的静态服务器来分区存储并管理它们的一个分布式文件系统。
特点:
应用层,没有特殊的内核组件要求
无单点失败?MogileFS启动的三个组件(存储节点、跟踪器、跟踪用的数据库),可运行在多个机器上,因此没有单点失败。(你也可以将跟踪器和存储节点运行在同一台机器上,这样你就没有必要用4台机器)推荐至少两台机器自动的文件复制?文件是基于他们的”类”,
文件可以自动的在多个存储节点上复制,这是为了尽量少的复制,才使用”类”的。假如你的图片站点有三份JPEG图片的拷贝,但实际只有1or2份拷贝,那么Mogile可以重新建立遗失的拷贝。用这种办法,MogileFS(不做RAID)可以节约在磁盘,否则你将存储同样的拷贝多份,完全没有必要”
“比RAID好”?在一个非存储区域网络的RAID(non-SAN RAID)的建立中,磁盘是冗余的,但主机不是,如果你整个机器坏了,那么文件也将不能访问。 MogileFS在不同的机器之间进行文件复制,因此文件始终是可用的
传输中立,无特殊协议?MogileFS客户端可以通过NFS或HTTP来和MogileFS的存储节点来通信,但首先需要告知跟踪器一下。简单的命名空间?文件通过一个给定的key来确定,是一个全局的命名空间。你可以自己生成多个命名空间,只要你愿意,但是这样可能在同一MogileFS中,会造成冲突key。
不用共享任何东西?MogileFS不需要依靠昂贵的SAN来共享磁盘,每个机器只用维护好自己的磁盘。
不需要RAID?在MogileFS中的磁盘可以是做了RAID的也可以是没有,如果是为了安全性着想的话RAID没有必要买了,因为MogileFS已经提供了。
不会碰到文件系统本身的不可知情况?在MogileFS中的存储节点的磁盘可以被格式化成多种格式(ext3,reiserFS等等)。MogilesFS会做自己内部目录的哈希,所以它不会碰到文件系统本身的一些限制,比如一个目录中的最大文件数。你可以放心的使用。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP