免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: send_linux
打印 上一主题 下一主题

Linux存储大家谈! [复制链接]

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
41 [报告]
发表于 2011-12-03 11:06 |只看该作者
mooseFS的master比较烧内存,这个缺点导致了集群系统文持的文件数量大大受限。另外一个比较大的问题是它的那个HASH排序,HASH空间太小,文件多时,树的深度可能很大,这个缺点决定了它的CHUNK索引只能放在内存里面,而内存又限制了文件数量。
KFS很好地避免了mooseFS文件数量限制的缺点,在排序上也大有改进,不那么烧内存了,不过坑爹的是它不是POSIX兼容的,也就是不支持文件owner、group、可执行等属性。
reiserFS、BTRFS和XFS都是B树排序的,都是对EXT3的改进,本质上相差不大,这几个文件系统都比较怕树的损坏,因此对存储设备可靠性要求比较苛刻。
ZFS受制于版权,严重不看好它。
GLUSTERFS,排序用了红黑树。缺点是加了brick以后需要find *,它不会自动同步,这个毛病挺烦人的。不过话说mooseFS也这样。没有自动同步,集群节点数就会受到限制,因为允许同时更换或损坏的brick比较少。

我琢磨目前所有分布式文件系统都应该做些改进,比如,对于热点数据,自动增加镜象数量,等等。

论坛徽章:
7
双子座
日期:2013-09-09 15:55:31CU大牛徽章
日期:2013-09-18 15:22:06CU大牛徽章
日期:2013-09-18 15:22:20CU大牛徽章
日期:2013-09-18 15:22:26CU大牛徽章
日期:2013-09-18 15:22:31CU大牛徽章
日期:2013-09-18 15:22:37CU大牛徽章
日期:2013-09-18 15:22:46
42 [报告]
发表于 2011-12-03 15:35 |只看该作者
大神,你把BTRFS和XFS还有REISERFS放一起,虽然都是B树,但是BTRFS和ZFS才是同一类型的文件系统,都是为下一代文件系统设计的,实现存储集中管理以及事务特性等等。

在内存这么便宜的年代,我觉得MOOSEFS meta信息存储读取到内存里不是什么缺点,相比SAS和SATA的容量和价格差,内存真不算啥。

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
43 [报告]
发表于 2011-12-03 23:57 |只看该作者
大神,你把BTRFS和XFS还有REISERFS放一起,虽然都是B树,但是BTRFS和ZFS才是同一类型的文件系统,都是为下一 ...
milujite 发表于 2011-12-03 15:35



    BTRFS和ZFS所谓的“下一代”是针对EXT3说的,主要的改进是在目录索引上,但是我觉得跟reiserfs相比,算不上是什么进步。
    内存容量的增长速度显然落后于硬盘,mooseFS烧内存的做法是相当不明智的。它的CHUNK排序做得很粗糙,HASH,很不靠谱。MFS的优点是它有回收站,可以找回误删的文件。

论坛徽章:
20
CU大牛徽章
日期:2013-04-17 11:48:26羊年新春福章
日期:2015-03-10 22:39:202015年中国系统架构师大会
日期:2015-06-29 16:11:282015亚冠之平阳省
日期:2015-07-31 09:19:042015七夕节徽章
日期:2015-08-21 11:06:17IT运维版块每日发帖之星
日期:2015-09-30 06:20:002015亚冠之柏太阳神
日期:2015-10-19 20:29:5915-16赛季CBA联赛之天津
日期:2016-11-29 14:03:4315-16赛季CBA联赛之北控
日期:2016-12-24 20:51:492015年辞旧岁徽章
日期:2015-03-03 16:54:15双鱼座
日期:2015-01-12 20:58:532014年中国系统架构师大会
日期:2014-10-14 15:59:00
44 [报告]
发表于 2011-12-04 10:26 |只看该作者
目前Linux的文件系统ext3应该还是主流,ext4在最近的发行版如RHEL6, Fedora16中,也成了主流了。就具体的使用来说,我觉得小企业可以NFS会用得多,把一台大容量的机器做为存储服务器,ftp, samba之间的目录可做为NFS的挂载目录,普通用户可以通过ftp,samba等方式来使用服务器的数据,而系统管理员之类的用户则可以通过NFS方式来上传或是下载数据。
   btrfs文件系统没有使用过,不知道性能如何,ZFS文件系统的快照功能,这个在目录看来是比较有市场的,而且是特别适合于开发人员进行还原操作。

论坛徽章:
20
CU大牛徽章
日期:2013-04-17 11:48:26羊年新春福章
日期:2015-03-10 22:39:202015年中国系统架构师大会
日期:2015-06-29 16:11:282015亚冠之平阳省
日期:2015-07-31 09:19:042015七夕节徽章
日期:2015-08-21 11:06:17IT运维版块每日发帖之星
日期:2015-09-30 06:20:002015亚冠之柏太阳神
日期:2015-10-19 20:29:5915-16赛季CBA联赛之天津
日期:2016-11-29 14:03:4315-16赛季CBA联赛之北控
日期:2016-12-24 20:51:492015年辞旧岁徽章
日期:2015-03-03 16:54:15双鱼座
日期:2015-01-12 20:58:532014年中国系统架构师大会
日期:2014-10-14 15:59:00
45 [报告]
发表于 2011-12-04 10:30 |只看该作者
RAID这玩意,分为软RAID和硬件RAID,如果从操作系统层来说,应该是指是软RAID了

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
46 [报告]
发表于 2011-12-04 14:39 |只看该作者
回复 44# beyondfly


    ZFS快照不能用LVM快照替代吗?

论坛徽章:
0
47 [报告]
发表于 2011-12-04 23:33 |只看该作者
淘宝声称将TBFS开源,FastDFS和TBFS相比,有何优缺点?或者说应用场景不同?

论坛徽章:
14
处女座
日期:2013-11-26 09:21:15操作系统版块每日发帖之星
日期:2016-03-25 06:20:00操作系统版块每日发帖之星
日期:2016-03-22 06:20:00操作系统版块每日发帖之星
日期:2016-03-21 06:20:00数据库技术版块每日发帖之星
日期:2015-11-13 06:20:00操作系统版块每日发帖之星
日期:2015-11-01 06:20:002015亚冠之卡尔希纳萨夫
日期:2015-09-29 13:31:42IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-08-10 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00双鱼座
日期:2014-07-17 15:08:51卯兔
日期:2014-04-08 09:54:34
48 [报告]
发表于 2011-12-05 09:46 |只看该作者
其实存储隐藏的那一层,还真是个操作系统,处处都存在操作系统卷管理的影子,只是你没去注意而已 ...
milujite 发表于 2011-12-02 19:02



       深了,有点吃不动了,我再钻研钻研

论坛徽章:
0
49 [报告]
发表于 2011-12-05 11:20 |只看该作者
回复 15# ao_qy


    看了样章,比那个大话存储牛逼

论坛徽章:
10
CU大牛徽章
日期:2013-09-18 15:20:48程序设计版块每日发帖之星
日期:2016-07-21 06:20:00IT运维版块每日发帖之星
日期:2015-07-30 09:40:01技术图书徽章
日期:2014-10-14 16:00:43天蝎座
日期:2013-09-27 17:41:29CU大牛徽章
日期:2013-09-18 15:21:17CU大牛徽章
日期:2013-09-18 15:21:12CU大牛徽章
日期:2013-09-18 15:21:06CU大牛徽章
日期:2013-09-18 15:20:58每日论坛发贴之星
日期:2016-07-21 06:20:00
50 [报告]
发表于 2011-12-05 12:14 |只看该作者
mooseFS的master比较烧内存,这个缺点导致了集群系统文持的文件数量大大受限。另外一个比较大的问题是它的那 ...
bbjmmj 发表于 2011-12-03 11:06



    难得见到bj大神正28J的谈技术,佩服
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP