忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
楼主: send_linux

[Lustre] 互联网技术热点之--分布式文件系统,Lustre路在何方?(获奖名单已公布2013-4-7) [复制链接]

论坛徽章:
0
发表于 2013-03-12 10:51 |显示全部楼层
network is storage

论坛徽章:
5
CU大牛徽章
日期:2013-09-18 15:16:55CU大牛徽章
日期:2013-09-18 15:18:22CU大牛徽章
日期:2013-09-18 15:18:432015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:45
发表于 2013-03-12 19:56 |显示全部楼层
太高深了,偶尔用一下nfs,其他都没接触过

论坛徽章:
27
CU大牛徽章
日期:2013-03-13 15:15:08CU大牛徽章
日期:2013-05-20 10:46:38CU大牛徽章
日期:2013-05-20 10:46:44CU大牛徽章
日期:2013-09-18 15:24:09CU大牛徽章
日期:2013-09-18 15:24:20CU大牛徽章
日期:2013-09-18 15:24:25CU大牛徽章
日期:2013-09-18 15:24:31CU大牛徽章
日期:2013-09-18 15:24:36CU大牛徽章
日期:2013-09-18 15:24:41CU大牛徽章
日期:2013-09-18 15:24:48CU大牛徽章
日期:2013-09-18 15:24:52处女座
日期:2013-09-27 17:45:43
发表于 2013-03-12 23:58 |显示全部楼层
1、什么场景下需要用到分布式文件系统?有哪些好处?目前的发展瓶颈是什么?
答:1)对于数据完整性要求很高的环境下,多个备份的分布式文件系统可以提高数据完整性保护;
      2)对于会产生大量数据写入或者读出的实时系统,大量数据注定数据不能够存放在一台机器上,注定要分布,这能够保证数据可以高效写入,保证数据完整可靠,即使一台宕机了,也不会影响业务。
    发展的瓶颈是:
      1)分布式文件系统对于带宽要求很高,而目前中国的公共网络无法达到这样的要求,因此很多分布式文件系统一般都会在同一个机房里,若是跨网传输的话还是采用传统的方式。
      2)分布式文件系统还做不到,随意增加或者减少机器,各个节点的文件分布能够像流水一样互相均衡


2、您是否使用过或者评估过Lustre,有什么问题或者建议?
答:没有
3、分享您在各种互联网业务中评测或者使用各种分布式文件系统的经验,或者您认为使用分布式文件系统能够给您的业务基础架构带来的优势。
答:我在openstack的swift做过开发,使用过nfs。
     1)nfs的优点是:技术比较成熟,配置简单
          nfs的缺点:nfs在大量写入数据时达不到实时同步,并且会造成IO负载很重,并且一台宿主机不能够挂载太多nfs客户端。
    2)swift的优点:
         a.swift的数据同步可以自主定义备份的数量,
         b.使用phthon开发,数据格式使用的是json格式存储。
         c.使用ring分配存储节点和文件,基本上文件会整个存储在一台机器上,不会被切割
         d.采用的是n个前端服务器(proxy)后面挂载多个存储节点的方式,可以随便增加前端服务器的个数,或者存储节点的个数。
         e.同步很快
        swift的缺点:
         a.对系统有要求,必须是乌班图系统

   
   

论坛徽章:
6
CU大牛徽章
日期:2013-03-13 15:15:08CU大牛徽章
日期:2013-03-13 15:26:06CU大牛徽章
日期:2013-03-13 15:26:47CU大牛徽章
日期:2013-03-14 14:14:08CU大牛徽章
日期:2013-03-14 14:14:26CU大牛徽章
日期:2013-03-14 14:14:29
发表于 2013-03-14 08:59 |显示全部楼层
目前还未接触过分布式文件系统,现在主要采用NFS。

如果分布式文件系统能更好的解决生产中的问题,随着技术的发展,肯定会被采用,但是前提是是否适用于互联网产业。

论坛徽章:
2
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:55:28
发表于 2013-03-22 14:54 |显示全部楼层
send_linux 发表于 2013-03-04 10:16
随着互联网和移动信息化的飞速发展,各种业务数据爆炸性地增长,海量数据不停产生后被存储,并时刻需要被高 ...


这里讨论ceph的不多,貌似ceph也很有前景,特别是和openstack绑到了一起

摘自网络上的一个专家的博客:



国内玩ceph的人很少,我自己还没测试过。不过这个东西,一直都听说。

知道Ceph,是因为他可以实现亚马逊的EBS类似的功能。不过他还可以替代swift,有对象存储的功能。

现在到底是统一存储,还是分别不同的软件完成不同的工作,这是由争议的。

重要有人把ceph变成产品,这是非常不容易的事情。

http://www.meetup.com/OpenStack-LA/events/60615382/

Openstack有了ceph,会变得更加完美。尤其是对于私有云的用户,或者企业的应用,应该是更加合适。

论坛徽章:
2
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:55:28
发表于 2013-03-22 14:55 |显示全部楼层
另外一篇报道:

ceph作为OpenStack的后端存储解决方案
Piston Cloud Computing公司介绍

Piston Cloud Computing,inc 是一间建立于2011年的软件公司。主要创始人原来都是OpenStack的创建者,包括前NASA、Rackspace的员工。它们的主要产品是“Piston Enterprise OS”,是一款集成OpenStack,并用于大规模扩展的私有云操作系统。这款产品的特点是高安全性、高定制化。在它们的产品介绍中,管理员使用一个U盘(装有Piston Enterprise OS),10分钟就能在一个机架上安装好私有云。

Ceph Lord

在2012年2月2日,DreamHost和Piston Cloud举办了2012年第二次”SFBay OpenStack”活动,主题是”Ceph Lords“。

第一个报告是由DreamHost的Ben Cherian, Tommi Virtanen and Carl Perry演讲,他们介绍了 Ceph and DreamHost的对象存储服务的部署。

第二个报告是由Piston Cloud的CTO Christopher MacGown做的演讲,他介绍了使用Ceph作OpenStack的块设备存储解决方案。

他的报告有几个要点:
1、shared storage的重要性。
2、storage and computation close to each other。
3、SAN和NAS的缺点(价格高、数据与计算分离、扩展性差、带宽有限制)。
4、ClusterFS作为块设备存储的缺点(不在kernel、使用fuse,速度慢)。
5、块设备存储解决方案必备条件(线性扩展、自动化)。
6、ceph的优点(在主线kernel中、client运行在内核态、支持普通硬件、线性扩展)。
7、Piston Cloud如何使用Ceph作为后端存储解决方案。
在Linux3.2.1上运行ceph 0.39,btrfs
使用RBD
自动配置ceph,自动增加节点到ceph cluster
配置host的RBD,然nova instance使用local volumes
使用nova volume rbd driver
8、不足之处
ceph在ext4上有一些问题
使用btrfs,但是btrfs在3.x之前的内核上都不够好

论坛徽章:
0
发表于 2013-03-24 22:52 |显示全部楼层
Lustre主要是用在HPC行业内做共享存储,国内外大的超算中心大都是使用的Lustre的。配置维护比较麻烦,不是太适合一般的企业使用。

在超算行业里,目前Lustre算是久经考验并且大规模使用的文件系统了。

论坛徽章:
0
发表于 2013-03-25 18:21 |显示全部楼层
milujite 发表于 2013-03-06 10:59
另外不得不吐槽下,LUSTRE新版本目前怎么下载到?


http://downloads.whamcloud.com/public/lustre/

论坛徽章:
7
双子座
日期:2013-09-09 15:55:31CU大牛徽章
日期:2013-09-18 15:22:06CU大牛徽章
日期:2013-09-18 15:22:20CU大牛徽章
日期:2013-09-18 15:22:26CU大牛徽章
日期:2013-09-18 15:22:31CU大牛徽章
日期:2013-09-18 15:22:37CU大牛徽章
日期:2013-09-18 15:22:46
发表于 2013-03-26 11:11 |显示全部楼层
薄饼芥末 发表于 2013-03-25 18:21
http://downloads.whamcloud.com/public/lustre/
好人啊~官方太坑了

论坛徽章:
6
CU大牛徽章
日期:2013-03-14 14:14:08CU大牛徽章
日期:2013-03-14 14:14:26CU大牛徽章
日期:2013-03-14 14:14:29处女座
日期:2014-04-21 11:51:59辰龙
日期:2014-05-12 09:15:10NBA常规赛纪念章
日期:2015-05-04 22:32:03
发表于 2013-04-12 09:22 |显示全部楼层
chenyx 发表于 2013-03-11 10:24
这个太详细了,果断收藏备用.


谢谢版大的收藏
您需要登录后才可以回帖 登录 | 注册

本版积分规则

DTCC2018购票6.8折优惠进行时

中国数据库技术大会是国内数据库及大数据领域规模最大、最受欢迎的技术交流盛会。 2018年5月10-12日,第九届中国数据库技术大会将如约而至。本届大会以“数领先机•智赢未来”为主题,设定2大主会场及20个技术专场,邀请来自国内外互联网、金融、教育等行业百余位技术专家,共同探讨Oracle、MySQL、NoSQL、大数据等领域的前瞻性热点话题与技术。
----------------------------------------
优惠时间:2018年2月13日前

报名链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP