忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
楼主: send_linux

[Lustre] 互联网技术热点之--分布式文件系统,Lustre路在何方?(获奖名单已公布2013-4-7) [复制链接]

论坛徽章:
4
摩羯座
日期:2014-07-22 09:03:552015元宵节徽章
日期:2015-03-06 15:50:392015亚冠之大阪钢巴
日期:2015-06-12 16:01:352015年中国系统架构师大会
日期:2015-06-29 16:11:28
发表于 2013-03-07 15:02 |显示全部楼层
回复 26# qidunhu

http://www.doc88.com/p-39090968578.html
是这个吗?
有什么优势呢?
   

论坛徽章:
31
CU大牛徽章
日期:2013-03-13 15:15:08CU大牛徽章
日期:2013-05-20 10:46:18CU大牛徽章
日期:2013-05-20 10:46:25CU大牛徽章
日期:2013-05-20 10:46:31CU大牛徽章
日期:2013-05-20 10:46:38CU大牛徽章
日期:2013-05-20 10:46:44CU大牛徽章
日期:2013-09-18 15:16:55CU大牛徽章
日期:2013-09-18 15:18:22CU大牛徽章
日期:2013-09-18 15:18:43CU十二周年纪念徽章
日期:2013-10-24 15:41:34丑牛
日期:2013-12-01 10:11:07水瓶座
日期:2014-01-15 08:47:25
发表于 2013-03-07 15:56 |显示全部楼层
除了NFS用过,其它都没有用过。

论坛徽章:
4
水瓶座
日期:2013-09-06 12:27:30摩羯座
日期:2013-09-28 14:07:46处女座
日期:2013-10-24 14:25:01酉鸡
日期:2014-04-07 11:54:15
发表于 2013-03-07 18:46 |显示全部楼层
没做过, 不敢乱说, 一切都源于谷歌论文, 分布式算法终于被将信将疑的证实为可用.

论坛徽章:
6
金牛座
日期:2013-10-08 10:19:10技术图书徽章
日期:2013-10-14 16:24:09CU十二周年纪念徽章
日期:2013-10-24 15:41:34狮子座
日期:2013-11-24 19:26:19未羊
日期:2014-01-23 15:50:002015年亚洲杯之阿联酋
日期:2015-05-09 14:36:15
发表于 2013-03-08 09:23 |显示全部楼层
回复 1# send_linux
我们这边的分布式文件系统是前辈们自己开发的

@余庆 或说跟@庄远 什么关系?

   

论坛徽章:
6
金牛座
日期:2013-10-08 10:19:10技术图书徽章
日期:2013-10-14 16:24:09CU十二周年纪念徽章
日期:2013-10-24 15:41:34狮子座
日期:2013-11-24 19:26:19未羊
日期:2014-01-23 15:50:002015年亚洲杯之阿联酋
日期:2015-05-09 14:36:15
发表于 2013-03-08 09:26 |显示全部楼层
回复 26# qidunhu
目前打算使用SNFS分布式文件系统,计算节点的计算量和IO量都很大...

现在有商用的场景了吗?
   

论坛徽章:
3
天秤座
日期:2014-10-29 11:37:572015元宵节徽章
日期:2015-03-06 15:50:39NBA常规赛纪念章
日期:2015-05-04 22:32:03
发表于 2013-03-08 13:25 |显示全部楼层
回复 24# hbsycw


    目前地价这么贵,搞一堆PC,多占地方啊。还不如几台小机呢。

论坛徽章:
0
发表于 2013-03-08 15:27 |显示全部楼层
LUSTRE 处理大文件牛b还是小文件牛b?
前期搭建环境测试了一下 性能还不如GFS 。

论坛徽章:
4
CU十二周年纪念徽章
日期:2013-10-24 15:41:34摩羯座
日期:2013-12-24 13:05:332015亚冠之西悉尼流浪者
日期:2015-10-09 16:03:47fulanqi
日期:2016-06-17 17:54:25
发表于 2013-03-08 17:37 |显示全部楼层
回复 36# tomer

小机和云相比,小机的计算能力是有限的,而云的计算能力是无穷的,而且是可以卖钱的,当然不同啦~


   

论坛徽章:
6
CU大牛徽章
日期:2013-05-20 10:43:41IT运维版块每日发帖之星
日期:2016-07-29 06:20:00IT运维版块每日发帖之星
日期:2016-01-27 06:20:00CU大牛徽章
日期:2013-05-20 10:44:16CU大牛徽章
日期:2013-05-20 10:44:0615-16赛季CBA联赛之广东
日期:2018-03-09 11:17:08
发表于 2013-03-09 21:37 |显示全部楼层
没用过Lustre,表示很是关注,听说Lustre不太适应小文件

论坛徽章:
6
CU大牛徽章
日期:2013-03-14 14:14:08CU大牛徽章
日期:2013-03-14 14:14:26CU大牛徽章
日期:2013-03-14 14:14:29处女座
日期:2014-04-21 11:51:59辰龙
日期:2014-05-12 09:15:10NBA常规赛纪念章
日期:2015-05-04 22:32:03
发表于 2013-03-10 09:05 |显示全部楼层
lijunzong 发表于 2013-03-08 15:27
LUSTRE 处理大文件牛b还是小文件牛b?
前期搭建环境测试了一下 性能还不如GFS 。

分布式文件系统之Lustre功能测试报告前言
Lustre的研究已经有一段时间了,由刚开始对Lustre的期待,到现在对其在我们目前服务器环境上运用可行性的怀疑,新的技术,必须经受足够的考验,才能成为凤凰涅槃,不断强壮。
在此不免要对我们当前环境再做一次简单的描述。提供动态页面服务的resin服务器和提供前端加速的squid服务器,对磁盘空间的要求很小,因此,每台服务器的硬盘上除了装一个操作系统,就是resin动态应用和squid的磁盘缓存,总的磁盘空间占用不会超过5G。基于这样的环境,我们不免会打这些剩余磁盘空间的主意。我们希望找到一款开源的分布式文件系统软件,来整合我们这些磁盘的剩余空间。
随着对分布式文件系统的深入了解,我们越来越发现,我们最初的想法是不正确的,因为在任何一个大的系统中,存储都是独立的。把应用服务器和存储分开,才能最大限度的发挥二者的性能,并且方便进行管理。因此,基于这样的想法,我构思了几种方案。但本篇报告的重点在Lustre,我构思的那几种方案将另辟一文进行描述。
Lustre简单介绍
Lustre文件系统是基于对象存储的文件系统,它有三个部分组成:
1.  元数据服务器(Meta Data ServerMDS
2.  对象存储服务器(Object Storage ServerOSS
3.  Lustre客户端
更详细的介绍,请参考之前的分布式文件系统报告。
实验环境
因为本次进行的是Lustre的功能测试,故实验环境不进行详细的介绍。
硬件环境包括若干台服务器,软件环境如下:
操作系统
RHEL 4 AS Update 4
内核
2.6.9-42.0.10.EL_lustre.1.4.10(官方提供,打过Lustre补丁)
Lustre版本
lustre-1.4.10
Heartbeat版本
heartbeat-2.0.8
其他软件
PerlPythonPyXML
功能测试内容
1.  单节点的Lustre
2.  多节点的Lustre
3.  LustreFailover
4.  Lustrequota
您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:wangnan@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP