免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: send_linux

[FastDFS] DTCC2014热点探讨之----如何为您的业务选择恰当的文件系统(获奖名单已公布-14-3-26) [复制链接]

论坛徽章:
54
2017金鸡报晓
日期:2017-02-08 10:39:42操作系统版块每日发帖之星
日期:2016-03-08 06:20:00操作系统版块每日发帖之星
日期:2016-03-07 06:20:00操作系统版块每日发帖之星
日期:2016-02-22 06:20:00操作系统版块每日发帖之星
日期:2016-01-29 06:20:00操作系统版块每日发帖之星
日期:2016-01-27 06:20:00操作系统版块每日发帖之星
日期:2016-01-20 06:20:00操作系统版块每日发帖之星
日期:2016-01-06 06:20:0015-16赛季CBA联赛之江苏
日期:2015-12-21 20:00:24操作系统版块每日发帖之星
日期:2015-12-21 06:20:00IT运维版块每日发帖之星
日期:2015-11-17 06:20:002015亚冠之广州恒大
日期:2015-11-12 10:58:02
发表于 2014-02-14 21:03 |显示全部楼层
回复 20# fire_cpp


    我也正这样用呢,直接用JBOD模式。数据库用了raidz,网站放小文件,用了mirror。

论坛徽章:
4
CU大牛徽章
日期:2013-04-17 11:48:26CU大牛徽章
日期:2013-04-17 11:48:40CU大牛徽章
日期:2013-04-17 11:48:45摩羯座
日期:2013-12-06 18:10:04
发表于 2014-02-15 08:29 |显示全部楼层
lsstarboy 发表于 2014-02-14 21:03
回复 20# fire_cpp


数据库建议用mirror + mirror的好,设定8K的recordsize。

论坛徽章:
0
发表于 2014-02-15 11:56 |显示全部楼层
c:\DFS.jpg

论坛徽章:
2
亥猪
日期:2014-03-19 16:36:35午马
日期:2014-11-23 23:48:46
发表于 2014-02-15 22:56 |显示全部楼层
回复 20# fire_cpp


    我也这样放的,fb10+zfs+pg93, 还在调试期,暂无评测

论坛徽章:
5
技术图书徽章
日期:2013-08-27 10:03:49CU大牛徽章
日期:2013-09-18 15:16:55CU大牛徽章
日期:2013-09-18 15:18:22CU大牛徽章
日期:2013-09-18 15:18:43技术图书徽章
日期:2014-04-24 15:51:26
发表于 2014-02-16 13:55 |显示全部楼层
话题一:您目前主要的业务范围包括哪些,文件系统是否已经成为您业务的瓶颈?
业务主要是静态图片存储,容量疯涨,每天20-30G左右,目前用raid5,本地文件系统已经无法满足要求,急需分布式解决方案。

话题二:目前的文件系统中,您使用的是哪种?有哪些经验和教训?
目前图片存储本地使用ext4,数据库用xfs,这些本地文件系统比较经典也足够稳定,主要在于容量扩展性压力

话题三:畅谈您对未来文件系统的发展的大趋势
分布式文件系统是未来的趋势,无单点故障,无单点性能瓶颈,横向/线性扩展将会成为分布式文件系统的必备,同时解决海量小文件存储的性能问题。

目前坐等ubuntu 14.04 中的btrfs 和 ceph 。

论坛徽章:
0
发表于 2014-02-16 17:52 |显示全部楼层
回复 25# Purple_Grape


目前开源的分布式文件存储解决方案还是不少的,要找到合适的分布式存储方案,关键还是看你们的业务场景,比如安全性需求、文件规模、文件大小分布特性、如何读写文件、读写比例等...



   

论坛徽章:
5
技术图书徽章
日期:2013-08-27 10:03:49CU大牛徽章
日期:2013-09-18 15:16:55CU大牛徽章
日期:2013-09-18 15:18:22CU大牛徽章
日期:2013-09-18 15:18:43技术图书徽章
日期:2014-04-24 15:51:26
发表于 2014-02-16 19:25 |显示全部楼层
回复 26# zyd_cu


    谢谢大神指点。目前比较中意ceph ,但苦于不成熟。据传ubuntu老大风投了开发ceph的公司,等14.04时ceph会交付一个稳定的版本给ubuntu 。

    因此,后期准备上 ceph + XFS 。

   fish 大神的fastDFS 由于没有posix支持,目前还不太合适。glusterfs性能太差 、moosefs 有单点故障和单点性能瓶颈。

论坛徽章:
0
发表于 2014-02-17 09:00 |显示全部楼层
大会还没开始呢,哈哈哈

论坛徽章:
0
发表于 2014-02-17 10:51 |显示全部楼层
回复 27# Purple_Grape


如果你们要求posix的支持,那么想fastdfs、tfs、mogilefs等基本都是不用考虑的,这些都是要使用特定API来访问的,需要你们上层的应用程序一起改动才行。

glusterfs、ceph、moosefs是支持posix接口的,而且都是借助fuse在用户空间实现的(使用fuse本身对性能是有影响的),各自性能如何我也没有用过,不敢给建议。

前两个是无单点的,通过算法来分布和定位数据(我一直觉得这种做法虽然牛逼,但太过于复杂,并且不方便管理),moosefs有单一的管理节点master(从官网上看,其增加了metaserver用于master容错)


论坛徽章:
17
戌狗
日期:2013-09-02 23:43:02技术图书徽章
日期:2014-04-29 14:16:02技术图书徽章
日期:2014-04-24 15:51:26未羊
日期:2014-04-06 22:10:30丑牛
日期:2014-04-06 21:23:29辰龙
日期:2014-04-06 21:20:22处女座
日期:2014-04-06 21:16:18技术图书徽章
日期:2014-04-02 15:10:51金牛座
日期:2014-03-10 22:26:18巨蟹座
日期:2014-02-17 17:12:12技术图书徽章
日期:2014-01-24 10:38:43摩羯座
日期:2013-11-29 18:00:18
发表于 2014-02-17 17:54 |显示全部楼层
本帖最后由 jimmy-_-lixw 于 2014-02-25 15:18 编辑

北京的会议,太远了。

在此详细谈论文件系统话题。

话题一:您目前主要的业务范围包括哪些,文件系统是否已经成为您业务的瓶颈?
基础应用无担心瓶颈问题。
文件系统兼容性最重要。
目前不同的操作系统,不同的文件系统,之前的文件系统可以相互兼容、相互交换。为了与其他操作系统兼容,以相互交换数据,通常操作系统都能支持多种类型的文件系统。
例如:我们最熟悉的windows系统。比如Windows 2000 Server,系统默认或推荐采用的文件系统是NTFS,但同时也支持FAT32或FAT16文件系统;DOS和Windows 9x一般采用FAT16或FAT32,不支持NTFS文件系统。
文件系统随业务需求而变,文件系统服务于业务。
对于需要开发自己的一套文件系统,估计业务到这个应用层面上,文件系统将是核心部分。

话题二:目前的文件系统中,您使用的是哪种?有哪些经验和教训?

首先讲下基本经验,linux文件系统基本常识。避免不正常的关机、断电。
ext2和ext3文件系统对于意外关机和断电,也可能导致文件系统损坏,所以我们在使用过程中,必须是合法关机,比如执行poweroff指令来关掉机器。
从自动修复损坏的文件系统来看,ext2、ext3都能自动修复损坏的文件系统,也都是在开机时进行。
因此当我们非法关机后,通常系统都会做系统文件的修复和检测。这个也是我们最常见的情况。


跟随着Linux的不断发展,它所支持的文件格式系统也在迅速扩充。特别是Linux 2.4内核正式推出后,出现了大量新的文件系统,其中包括日志文件系统ext3、ReiserFS、XFSJFS和其它文件系统。在Linux系统中,每个分区都是一个文件系统,都有自己的目录层次结构。Linux的最重要特征之一就是支持多种文件系统,这样它更加灵活,并可以和许多其它种操作系统共存。由于系统已将Linux文件系统的所有细节进行了转换,所以Linux核心的其它部分及系统中运行的程序将看到统一的文件系统。

看到这个fastdfs分布式文件夹系统,最关键的是开源的项目,同还是个轻量级的文件系统。
如果说目前的文件系统中,首先想起的当然是windows下的ntfs、fat,fat32等。linux系统下的ext3系列、nfs等等。
分布式的还有如MFS、Hadoop中的HDFS等。


话题三:畅谈您对未来文件系统的发展的大趋势
未来的发展大趋势将会是分布式文件系统,同时Linux文件系统进来发展迅速。
分布式文件系统未来发展新星Ceph

Ceph 不仅仅是一个文件系统,还是一个有企业级功能的对象存储生态环境。
作为分布式文件系统,其能够在维护 POSIX 兼容性的同时加入了复制和容错功能。从 2010 年 3 月底,您可以在Linux 内核(从2.6.34版开始)中找到 Ceph 的身影,作为Linux的文件系统备选之一,Ceph.ko已经集成入Linux内核之中。虽然目前Ceph 可能还不适用于生产环境,但它对测试目的还是非常有用的。
现在,Ceph已经被集成在主线 Linux 内核中,但只是被标识为实验性的。在这种状态下的文件系统对测试是有用的,但是对生产环境没有做好准备。但是考虑到Ceph 加入到 Linux 内核的行列,不久的将来,它应该就能用于解决海量存储的需要了。
号称下一代Linux文件系统BTRFS
BTRFS是否可以成为Linux领域梦寐以求的企业级文件系统,并对ZFS形成竞争。比起Sun同等的文件系统,BTRFS包含了更多功能,拥有更好的性能。

这些文件系统跟业务场景密切相关,像要求文件系统安全性需求高、文件规模大小、文件大小分布特性、文件系统如何读写文件、文件系统读写比例等等这些关键问题。



您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP