忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 徽章 文库 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
楼主: send_linux

[Lustre] 互联网技术热点之--分布式文件系统,Lustre路在何方?(获奖名单已公布2013-4-7) [复制链接]

论坛徽章:
2
羊年新春福章
日期:2015-04-27 16:56:53射手座
日期:2015-04-27 16:58:18
发表于 2013-03-05 18:37 |显示全部楼层
还是在fat/ntfs/ext3的环境

论坛徽章:
207
巨蟹座
日期:2013-09-02 09:16:36卯兔
日期:2013-09-02 20:53:59酉鸡
日期:2013-09-05 21:21:45戌狗
日期:2013-10-15 20:51:17寅虎
日期:2013-10-18 21:13:16白羊座
日期:2013-10-23 21:15:19午马
日期:2013-10-25 21:22:48技术图书徽章
日期:2013-11-01 09:11:32双鱼座
日期:2013-11-01 20:29:44丑牛
日期:2013-11-01 20:40:00卯兔
日期:2013-11-11 09:21:32亥猪
日期:2014-09-11 12:30:54
发表于 2013-03-06 09:15 |显示全部楼层
哥比较落后了,只知道nfs/clusterfs,前天面一人,说做过分布式,我问他架构,他说是机密,我问他做哪一层,他说是机密,我问他涉及哪些技术,他依然霸气地回复是机密,现在做分布式的有那么吊么?
哥得加紧学习了,三蛋哥看好你

论坛徽章:
0
发表于 2013-03-06 09:53 |显示全部楼层
机密 亮了。。。。。。。。。。。。。。。

论坛徽章:
4
CU十二周年纪念徽章
日期:2013-10-24 15:41:34摩羯座
日期:2013-12-24 13:05:332015亚冠之西悉尼流浪者
日期:2015-10-09 16:03:47fulanqi
日期:2016-06-17 17:54:25
发表于 2013-03-06 10:06 |显示全部楼层
回复 18# yuanzh78

云从技术上讲是弹性计算解决方案,云的火热的确有很大部分炒作嫌疑,因为,云概念的提出主要不是技术创新而是一种商业模式创新,各路诸侯抢着上,是为了未来的一统江湖。云听上去很美好,但还真有可能是陷阱~


   

论坛徽章:
4
CU十二周年纪念徽章
日期:2013-10-24 15:41:34摩羯座
日期:2013-12-24 13:05:332015亚冠之西悉尼流浪者
日期:2015-10-09 16:03:47fulanqi
日期:2016-06-17 17:54:25
发表于 2013-03-06 10:07 |显示全部楼层
流氓无产者 发表于 2013-03-06 09:15
哥比较落后了,只知道nfs/clusterfs,前天面一人,说做过分布式,我问他架构,他说是机密,我问他做哪一层, ...


哈哈,机密~

论坛徽章:
3
天蝎座
日期:2013-12-30 15:59:06天蝎座
日期:2014-02-27 11:10:40巨蟹座
日期:2014-04-16 10:19:11
发表于 2013-03-06 10:14 |显示全部楼层
目前打算使用SNFS分布式文件系统,计算节点的计算量和IO量都很大...

论坛徽章:
7
双子座
日期:2013-09-09 15:55:31CU大牛徽章
日期:2013-09-18 15:22:06CU大牛徽章
日期:2013-09-18 15:22:20CU大牛徽章
日期:2013-09-18 15:22:26CU大牛徽章
日期:2013-09-18 15:22:31CU大牛徽章
日期:2013-09-18 15:22:37CU大牛徽章
日期:2013-09-18 15:22:46
发表于 2013-03-06 10:59 |显示全部楼层
本帖最后由 milujite 于 2013-03-06 11:01 编辑

本期话题:

1、什么场景下需要用到分布式文件系统?有哪些好处?目前的发展瓶颈是什么?
行业不同,互联网行业会经常使用这些分布式文件系统,互联网企业总是会用各种简单、低成本的技术实现复杂的功能。投票里的NFS严格来说他不是集群文件系统,只能说是网络文件系统,与CIFS是同类型技术。分布式文件系统一般用在大规模服务器需要共享访问同一数据的场合。分布式文件系统的好处当然是SCALE-OUT架构带来的成本和性能优势。SCALE-OUT架构虽然好,但是由于设计复杂,对很多用户来说,存在畏惧心理。因为用户确实不知道自己的数据具体存放在哪里。

2、您是否使用过或者评估过Lustre,有什么问题或者建议?
为了在多台SMTP和POP服务器里共享邮件数据,曾经有测试过LUSTRE,但是由于规模比较小,并且LUSTRE对大量小文件开销有点大了,性能也不好。最近EXT4和BTRFS这种传统的文件系统都已经将小文件直接嵌入inode来提高小文件的访问性能,LUSTRE是否可以借鉴下。

3、分享您在各种互联网业务中评测或者使用各种分布式文件系统的经验,或者您认为使用分布式文件系统能够给您的业务基础架构带来的优势。
LUSTRE虽然设计时有考虑小文件,并且也有相应的小文件的调优手册,但是总体来说小文件的性能表现并不好。分布式文件系统在大规模数据并发访问上是主流的技术,并且使用低端硬件和技术就能达到高端存储设备的性能,但是也将存储架构变得更加复杂。


另外不得不吐槽下,LUSTRE新版本目前怎么下载到?

论坛徽章:
0
发表于 2013-03-06 17:16 |显示全部楼层
nfs侧重点是个网络协议,而不是个分布式,也不是文件系统,
nfs在4.0版本开始支持server端分布式的概念,4.1版本还支持client在多个server并行读写
lustre主要面型HPC的吧,目前top100的super computer里面大部分都是用lustre做存储的吧
hdfs是跟map reduce之类的计算是紧密结合的
分布式文件系统要看不同的应用场景吧,每种场景都有适合自己的分布式文件系统
例如存储视频多媒体数据,常需要分布式文件系统支持EC纠删码的冗余方式,
目前开源的分布式文件系统大部分是副本方式冗余,EMC跟netapp这种专业存储公司倒是有商用设备支持EC,就是比较贵

论坛徽章:
0
发表于 2013-03-07 10:19 |显示全部楼层
lustre在高性能计算领域用的比较多,它的优势是什么,是开源还是有其它的特点;

另外也有很多其它的商业版的集群存储软件,有大公司有小公司,稳定性都还可以;对大文件的处理效率也可以,与他们相比lustre有什么优势

目前gluster比较热门,而且有很多技术实力一般的厂商只稍加修改就直接变成自己的产品销售了,对gluster的发展和技术怎么看,与lustre的对比优劣势是什么

论坛徽章:
49
15-16赛季CBA联赛之福建
日期:2016-06-22 16:22:002015年亚洲杯之中国
日期:2015-01-23 16:25:12丑牛
日期:2015-01-20 09:39:23未羊
日期:2015-01-14 23:55:57巳蛇
日期:2015-01-06 18:21:36双鱼座
日期:2015-01-02 22:04:33午马
日期:2014-11-25 09:58:35辰龙
日期:2014-11-18 10:40:07寅虎
日期:2014-11-13 22:47:15申猴
日期:2014-10-22 15:29:50摩羯座
日期:2014-08-27 10:49:43ChinaUnix元老
日期:2015-01-30 15:14:07
发表于 2013-03-07 14:28 |显示全部楼层
qidunhu 发表于 2013-03-06 10:14
目前打算使用SNFS分布式文件系统,计算节点的计算量和IO量都很大...


这个能够详细说说么?和大家分享分享
您需要登录后才可以回帖 登录 | 注册

本版积分规则

DTCC2018购票6.8折优惠进行时

中国数据库技术大会是国内数据库及大数据领域规模最大、最受欢迎的技术交流盛会。 2018年5月10-12日,第九届中国数据库技术大会将如约而至。本届大会以“数领先机•智赢未来”为主题,设定2大主会场及20个技术专场,邀请来自国内外互联网、金融、教育等行业百余位技术专家,共同探讨Oracle、MySQL、NoSQL、大数据等领域的前瞻性热点话题与技术。
----------------------------------------
优惠时间:2018年2月13日前

报名链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP