免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 44505 | 回复: 130

[其他DFS] 如何规划部署网站的文件服务器?交流送好礼!(获奖名单已公布!) [复制链接]

论坛徽章:
49
15-16赛季CBA联赛之福建
日期:2016-06-22 16:22:002015年亚洲杯之中国
日期:2015-01-23 16:25:12丑牛
日期:2015-01-20 09:39:23未羊
日期:2015-01-14 23:55:57巳蛇
日期:2015-01-06 18:21:36双鱼座
日期:2015-01-02 22:04:33午马
日期:2014-11-25 09:58:35辰龙
日期:2014-11-18 10:40:07寅虎
日期:2014-11-13 22:47:15申猴
日期:2014-10-22 15:29:50摩羯座
日期:2014-08-27 10:49:43辰龙
日期:2014-08-21 10:47:58
发表于 2012-09-12 14:59 |显示全部楼层
获奖名单已公布,详情请看: http://bbs.chinaunix.net/thread-3775410-1-1.html

话题背景:

随着代码及图片(特别是图片)的不断增多,NFS文件服务器压力越来越大,NFS主备的方案可能在网站后期就顶不住压力了,这个时候,很多高级系统管理员/系统架构师会考虑用Nginx/Varnish作为文件缓存来缓解文件服务器压力,这确实也是一种解决问题的思路;但现在分布式文件系统越来越流行和成熟,大家有没有想过用MooseFS或GlusterFS来解决这个问题呢,如果你是作为公司的系统架构师/系统管理员,你会考虑用哪种方案来部署你的文件服务器,是用NFS+DRBD双机,还是MooseFS,亦或是GlusterFS?

本期话题:
1.结合网站当前情况,如何规划文件系统部署。
2.NFS作为文件服务器的优缺点。
3.MooseFS或GlusterFS的优缺点。

本期嘉宾:
余庆(happyfish100)  FastDFS文件系作者
刘晗昭(wenzizone) 高级系统架构师
胡安伟(king_819) 金游数据运维主管
崔晓辉( coralzd ) 大众网高级系统管理员
刘鑫   高级系统运维工程师
余洪春(yuhongchun) 资深项目实施工程师、系统架构师


奖项设置:
最佳案例分享奖:3名,奖励CU毛衣/毛坎肩一件
最佳交流奖:3名,奖励《CDN技术详解》图书一本
其他所有参与,且回复有效的用户均可以获得CU积分20分


ChinaUnix定制毛衣

论坛徽章:
0
发表于 2012-09-12 17:32 |显示全部楼层
1.当前情况考虑下,也考虑下将来几年的扩展嘛
2.NFS的V4版本还是可以的,但它的各种IO在需要很大的情况还不太好
3.MFS看情况吧,文件大小多少需要不同的内存,而且虽然说单点可以解决,不太建议用DRBD,一是有点麻烦,二是占用的网络IO也不少。

论坛徽章:
0
发表于 2012-09-14 13:58 |显示全部楼层
大多数的网站都在用linux,linux内存管理优秀,有cache机制,可以将大多数频繁访问的文件放入内存,绝大部分避免了从共享存储读取的机会,所以就要求共享存储方面的冗余机制要好,毕竟多年积攒的文件,不能全丢了吧。

论坛徽章:
0
发表于 2012-09-15 23:23 |显示全部楼层
本帖最后由 linux_shell 于 2012-09-15 23:26 编辑

    glusterfs 我们在一个节点上测试过,DELL r610 的,近200T 容量。小文件(16k以内)写在3.5M左右,读10M左右。300M 400M 500M 800M 1G 这种大文件做stripe模式的话读在270M 左右, replicate 模式在117M 左右。最后我们先上使用的是distributed+replicated分布式模式。主要存储视频大文件。ps  :gfs对网络要求很高,测试时网通机房的内网貌似不稳定socket通讯经常失败,导致多次重联。建议内网全部千兆线(至少H3C 交换机)。非常不适合web文件和小文件存储,当然你pv不高就几百万,淘汰nfs还是可行的。

论坛徽章:
5
摩羯座
日期:2014-07-22 09:03:552015元宵节徽章
日期:2015-03-06 15:50:392015亚冠之大阪钢巴
日期:2015-06-12 16:01:352015年中国系统架构师大会
日期:2015-06-29 16:11:2815-16赛季CBA联赛之四川
日期:2018-12-17 14:10:21
发表于 2012-09-17 12:33 |显示全部楼层
比较赞同余总的说法

不过glusterfs其实还是有很多优势的
统一空间,内容统一管理,就像使用本地磁盘一样方便,大大节省了应用开发的时间
降低了应用部分的难度

至于说glusterfs不支持小文,其实可以考虑组合使用,还是不错的
比如大文件存储在gluster里,小文件单做一个其他的小文件系统有优势的文件系统上面,这样的话就会方便很多


扩容方面,glusterfs目前还不是很帅,做起来比较龌龊,尤其是在reblance的时候,非常耗时
如果用infiniband网也许好些,用tcp就太逊色了,如果每个节点上再搞个客户端,非常蛋疼,网络流量对穿导致整个内部流量非常大,大到想死


目前gluserfs还在进一步的开发中,还有很多比较有建设性的东西的

glusterfs的开发非常方便,加一个自己的模块也很方便,都是xlator管理的,挺爽的
而且都是posix接口,就像正常使用本地pc一样使用就可以了
只不过有些操作太耗时了,比如readdir

论坛徽章:
0
发表于 2012-09-29 15:04 |显示全部楼层
moosefs  的IO很让我蛋疼,加入新的存储节点会自动将文件复制到新节点,操作还可以,可以直接mfsmount,
不想fastdfs那样需要api,还有文件名可以放进去,
而fastdfs则返回一个经过计算后的文件名,这样迁移文件不太好用,不过fastdfs 的效率远非moosefs可以比,
现在用fastdfs来做web存储,moosefs 来做日志和文件备份
nfs现在也在用,只不过不是用在核心上,网络有故障,会带上CPU,load的飙升,
上张moosefs的图
QQ截图20120929145912.png

论坛徽章:
277
CU大牛徽章
日期:2013-04-17 10:59:39CU大牛徽章
日期:2013-04-17 11:01:45CU大牛徽章
日期:2013-04-17 11:02:15CU大牛徽章
日期:2013-04-17 11:02:36CU大牛徽章
日期:2013-04-17 11:02:58CU大牛徽章
日期:2013-05-20 10:44:54CU大牛徽章
日期:2013-05-20 10:45:13CU大牛徽章
日期:2013-05-20 10:45:24CU大牛徽章
日期:2013-05-20 10:45:31金牛座
日期:2013-09-06 22:11:28巨蟹座
日期:2013-09-06 23:01:04射手座
日期:2013-09-06 23:01:45
发表于 2012-09-12 16:12 |显示全部楼层
本来想用fdfs的,简单好用
上面意思hadoop名气大,用了好吹,就只好用hadoop

论坛徽章:
277
CU大牛徽章
日期:2013-04-17 10:59:39CU大牛徽章
日期:2013-04-17 11:01:45CU大牛徽章
日期:2013-04-17 11:02:15CU大牛徽章
日期:2013-04-17 11:02:36CU大牛徽章
日期:2013-04-17 11:02:58CU大牛徽章
日期:2013-05-20 10:44:54CU大牛徽章
日期:2013-05-20 10:45:13CU大牛徽章
日期:2013-05-20 10:45:24CU大牛徽章
日期:2013-05-20 10:45:31金牛座
日期:2013-09-06 22:11:28巨蟹座
日期:2013-09-06 23:01:04射手座
日期:2013-09-06 23:01:45
发表于 2012-09-12 16:15 |显示全部楼层
地主啊 ,给两万分吧 ,衣服就不要了

论坛徽章:
42
19周年集字徽章-周
日期:2019-10-14 14:35:31平安夜徽章
日期:2015-12-26 00:06:30数据库技术版块每日发帖之星
日期:2015-12-01 06:20:002015亚冠之首尔
日期:2015-11-04 22:25:43IT运维版块每日发帖之星
日期:2015-08-17 06:20:00寅虎
日期:2014-06-04 16:25:27狮子座
日期:2014-05-12 11:00:00辰龙
日期:2013-12-20 17:07:19射手座
日期:2013-10-24 21:01:23CU十二周年纪念徽章
日期:2013-10-24 15:41:34IT运维版块每日发帖之星
日期:2016-01-27 06:20:0015-16赛季CBA联赛之新疆
日期:2016-06-07 14:10:01
发表于 2012-09-12 16:23 |显示全部楼层
小系统还是考虑ngnix/squid吧。安装简单,有缓存。
NFS的好处就是方便,可以fopen, 但是消耗太大了。不适合劣质网络。
分布式文件系统很有吸引力,但是不知道那个好。而且机器少了还没优势吧

论坛徽章:
13
CU大牛徽章
日期:2013-04-17 11:20:3615-16赛季CBA联赛之吉林
日期:2017-05-25 16:45:4715-16赛季CBA联赛之福建
日期:2017-03-13 11:33:442017金鸡报晓
日期:2017-02-08 10:39:422017金鸡报晓
日期:2017-01-10 15:13:29IT运维版块每日发帖之星
日期:2016-03-15 06:20:01IT运维版块每日发帖之星
日期:2015-10-02 06:20:00CU十二周年纪念徽章
日期:2013-10-24 15:41:34CU大牛徽章
日期:2013-09-18 15:15:45CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-04-17 11:46:39CU大牛徽章
日期:2013-04-17 11:46:28
发表于 2012-09-12 17:17 |显示全部楼层
其实还有一个方案就是利用诸如mongodb支持的GFS模式来提供分布式存储方案,这样数据库和文件的分布式一起解决。

论坛徽章:
6
丑牛
日期:2013-09-17 00:18:40未羊
日期:2013-10-31 12:10:47午马
日期:2013-12-07 01:58:50水瓶座
日期:2013-12-24 22:43:12水瓶座
日期:2014-03-15 21:12:13操作系统版块每日发帖之星
日期:2016-08-07 06:20:00
发表于 2012-09-12 17:26 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
6
丑牛
日期:2013-09-17 00:18:40未羊
日期:2013-10-31 12:10:47午马
日期:2013-12-07 01:58:50水瓶座
日期:2013-12-24 22:43:12水瓶座
日期:2014-03-15 21:12:13操作系统版块每日发帖之星
日期:2016-08-07 06:20:00
发表于 2012-09-12 17:29 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
6
丑牛
日期:2013-09-17 00:18:40未羊
日期:2013-10-31 12:10:47午马
日期:2013-12-07 01:58:50水瓶座
日期:2013-12-24 22:43:12水瓶座
日期:2014-03-15 21:12:13操作系统版块每日发帖之星
日期:2016-08-07 06:20:00
发表于 2012-09-12 17:30 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
6
丑牛
日期:2013-09-17 00:18:40未羊
日期:2013-10-31 12:10:47午马
日期:2013-12-07 01:58:50水瓶座
日期:2013-12-24 22:43:12水瓶座
日期:2014-03-15 21:12:13操作系统版块每日发帖之星
日期:2016-08-07 06:20:00
发表于 2012-09-12 17:35 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP