如何规划部署网站的文件服务器？交流送好礼！（获奖名单已公布！）

coralzd

Purple_Grape 发表于 2012-09-14 15:45
NFS很平庸，没分布式那么花哨，但部署维护简单，用硬盘和缓存系统来扩展，中小企业够用了。

用分布式的都 ...

也不是说有钱才能玩分布式，中小企业也可以玩分布式滴，分布式没有门槛。

feiyueheu

好热闹啊，自己没哟部署过文件系统，来学习啊。只是很多新技术都没有听说过。汗

linux_shell

    glusterfs 我们在一个节点上测试过，DELL r610 的，近200T 容量。小文件（16k以内）写在3.5M左右，读10M左右。300M 400M 500M 800M 1G 这种大文件做stripe模式的话读在270M 左右， replicate 模式在117M 左右。最后我们先上使用的是distributed+replicated分布式模式。主要存储视频大文件。ps  ：gfs对网络要求很高，测试时网通机房的内网貌似不稳定socket通讯经常失败，导致多次重联。建议内网全部千兆线（至少H3C 交换机）。非常不适合web文件和小文件存储，当然你pv不高就几百万，淘汰nfs还是可行的。

linux_shell

余大的 fdfs存储小图片非常适合，性能也非常不错。之前我公司业务主要做搜索引擎和爬虫图片搜索，日采集入库图片5千万张+都是用的余大的FastDFS，相当赞，比mfs glusterfs架构模式确实好很多。话说fdfs 在V4版本如果支持大文件存储的话，就更赞了，哈哈

frogoscar

Hadoop虽然是Java写的，但是性能还不错诶。
还可以配合Symfony什么的)

fengjihu

回复 53# linux_shell

gfs这个存储视频的话，比如1G-2G的视频写的速度也是在3.5/s吗？读能打到270M？这个是亲测吗？还有一个问题要问一下大家，如果即有大量的图片，又有大量的视频文件（一般1G-2G，有30%4G-6G的）这样的话想上分布式的话是不是要用两种分布式文件系统（条件允许的话）？如果想权衡一下，用一种，那最好是哪一种？
   

linux_shell

回复 57# fengjihu


    不是说了么，小文件在3.5M/S  大文件问读都是 100多M/S。 写在50-70之间。 GFS越大越无压力，哈哈。 不适合做图片小文件存储

   你想读在200多M/S的话 只能是单sprite模式，也就是类似“raid0” ，这样数据是没有冗余的，自己权衡吧。

happy_fish100

linux_shell 发表于 2012-09-15 23:29
余大的 fdfs存储小图片非常适合，性能也非常不错。之前我公司业务主要做搜索引擎和爬虫图片搜索，日采集入库 ...

大文件存储优化，主流做法就是分块存储吧，比如对大文件按64MB分块存储。
FastDFS本身是不需要文件索引的，可以根据文件ID直接定位到文件系统中的文件。
要对大文件分块存储，就会保存文件索引信息，势必对FastDFS架构造成非常大的调整。
因此FastDFS近期不考虑对大文件进行特殊支持。

happy_fish100

我一直坚持这个观点：对于互联网应用，用通用文件系统，如mooseFS，clusterFS等，太废纸，也就是性价比不高。
互联网应用使用专用文件系统，更合适一些。

大文件分块这个特性，也是看你的应用场合的。比如HDFS，它的定位就是分布式计算，因此HDFS支持文件分块，是天经地义、顺理成章的事情。
如果你最大的文件也就100多MB，采用文件分块特性，就是自寻烦恼。
总结为一句话：只选择合适的系统。用个医学上的术语：对症下猛药！

T-Bagwell

比较赞同余总的说法

不过glusterfs其实还是有很多优势的
统一空间，内容统一管理，就像使用本地磁盘一样方便，大大节省了应用开发的时间
降低了应用部分的难度

至于说glusterfs不支持小文，其实可以考虑组合使用，还是不错的
比如大文件存储在gluster里，小文件单做一个其他的小文件系统有优势的文件系统上面，这样的话就会方便很多


扩容方面，glusterfs目前还不是很帅，做起来比较龌龊，尤其是在reblance的时候，非常耗时
如果用infiniband网也许好些，用tcp就太逊色了，如果每个节点上再搞个客户端，非常蛋疼，网络流量对穿导致整个内部流量非常大，大到想死


目前gluserfs还在进一步的开发中，还有很多比较有建设性的东西的

glusterfs的开发非常方便，加一个自己的模块也很方便，都是xlator管理的，挺爽的
而且都是posix接口，就像正常使用本地pc一样使用就可以了
只不过有些操作太耗时了，比如readdir