▇▇▇mfs权威指南(moosefs)分布式文件系统一站式解决方案(部署，性能测试)不断更新

leoflash

{:3_191:}{:3_191:}{:3_191:}

361163

回复 1# shinelian


    正在测试mfs，发现个问题，生产1000个5K小文件，df显示太大了，能调chunk默认值不，不知道是否这个原因。


mfs#192.168.5.101:9421
                      102G  1.4G  100G   2% /mnt/mfs
[root@mfs6 mfs]# pwd
/mnt/mfs
[root@mfs6 mfs]# du -sh
49M     .

df显示1.4G，实际只有49M。

361163

回复  shinelian


    正在测试mfs，发现个问题，生产1000个5K小文件，df显示太大了，能调chunk默认值 ...
361163 发表于 2010-07-08 17:05

环境：一台master，3台chunk，副本是2。

peidright

回复 43# 999lhh


    这是因为， 通常数据没有实际删除。。，记录下来了， mfs 应该有其他的删除机制。比如执行某种回收操作。
mfs 这种系统，针对的是海量的硬盘，海量的数据，这样的情况下，是不会存在问题的

peidright

回复 44# 嗜血的猪


     这个不是缺点，而是bug. 分布式文件系统的目标之一就是容错，一个chunkserver 坏了，数据能从另一份恢复。
然而当一个chunkserver坏了的时候，如果这时候在写数据， 就很难处理。mfs 是一个不成熟的系统，严重警告大家，不可用作商业环境，
像土豆， youku这样的视频应用，可以冒险一试。

361163

回复  999lhh


    这是因为， 通常数据没有实际删除。。，记录下来了， mfs 应该有其他的删除机制。比 ...
peidright 发表于 2010-07-13 01:18

    不是没有删除，以前没数据的。这应该和其64M的trunck有关，存小文件将浪费大量空间，不适合小文件。

361163

回复  嗜血的猪


     这个不是缺点，而是bug. 分布式文件系统的目标之一就是容错，一个chunkserver 坏 ...
peidright 发表于 2010-07-13 01:24

    谢谢。暂时放弃mfs，看lustre是否适用，都说开源分布式文件系统不适合海量小文件存储。我只有2T，还是希望试试。

peidright

回复 57# 361163


    2T 的数据应该是可以的，放弃MFS的原因是？ 如果不需要随机偏移写的话，MFS应该不会存在问题
lustre主要是高性能计算， 应该容错功能也不好。

361163

回复  361163


    2T 的数据应该是可以的，放弃MFS的原因是？ 如果不需要随机偏移写的话，MFS应该不会 ...
peidright 发表于 2010-07-16 19:16

    2T的数据至少需要20T硬盘，还会相应增加服务器。浪费太大的空间和成本，无法跟老板解释，自己都觉得是笑话哈。

peidright

回复 59# 361163


    2T数据，存2份，最多5T盘啊。。很小的文件，么。。不过2T数据，是没有必要存在