互联网技术热点之--分布式文件系统，Lustre路在何方？（获奖名单已公布2013-4-7）

thaldn

network is storage

tangye

太高深了，偶尔用一下nfs，其他都没接触过

yifangyou

1、什么场景下需要用到分布式文件系统？有哪些好处？目前的发展瓶颈是什么？
答：1）对于数据完整性要求很高的环境下，多个备份的分布式文件系统可以提高数据完整性保护；
      2）对于会产生大量数据写入或者读出的实时系统，大量数据注定数据不能够存放在一台机器上，注定要分布，这能够保证数据可以高效写入，保证数据完整可靠，即使一台宕机了，也不会影响业务。
    发展的瓶颈是：
      1)分布式文件系统对于带宽要求很高，而目前中国的公共网络无法达到这样的要求，因此很多分布式文件系统一般都会在同一个机房里，若是跨网传输的话还是采用传统的方式。
      2）分布式文件系统还做不到，随意增加或者减少机器，各个节点的文件分布能够像流水一样互相均衡

2、您是否使用过或者评估过Lustre，有什么问题或者建议？
答：没有
3、分享您在各种互联网业务中评测或者使用各种分布式文件系统的经验，或者您认为使用分布式文件系统能够给您的业务基础架构带来的优势。
答：我在openstack的swift做过开发，使用过nfs。
     1）nfs的优点是：技术比较成熟，配置简单
          nfs的缺点：nfs在大量写入数据时达不到实时同步，并且会造成IO负载很重，并且一台宿主机不能够挂载太多nfs客户端。
    2）swift的优点：
         a.swift的数据同步可以自主定义备份的数量，
         b.使用phthon开发，数据格式使用的是json格式存储。
         c.使用ring分配存储节点和文件,基本上文件会整个存储在一台机器上，不会被切割
         d.采用的是n个前端服务器(proxy)后面挂载多个存储节点的方式，可以随便增加前端服务器的个数，或者存储节点的个数。
         e.同步很快
        swift的缺点：
         a.对系统有要求，必须是乌班图系统
   
   

DarrenPao

目前还未接触过分布式文件系统，现在主要采用NFS。

如果分布式文件系统能更好的解决生产中的问题，随着技术的发展，肯定会被采用，但是前提是是否适用于互联网产业。

patagonia

send_linux 发表于 2013-03-04 10:16
随着互联网和移动信息化的飞速发展，各种业务数据爆炸性地增长，海量数据不停产生后被存储，并时刻需要被高 ...

这里讨论ceph的不多，貌似ceph也很有前景，特别是和openstack绑到了一起

摘自网络上的一个专家的博客：



国内玩ceph的人很少，我自己还没测试过。不过这个东西，一直都听说。

知道Ceph，是因为他可以实现亚马逊的EBS类似的功能。不过他还可以替代swift，有对象存储的功能。

现在到底是统一存储，还是分别不同的软件完成不同的工作，这是由争议的。

重要有人把ceph变成产品，这是非常不容易的事情。

http://www.meetup.com/OpenStack-LA/events/60615382/

Openstack有了ceph，会变得更加完美。尤其是对于私有云的用户，或者企业的应用，应该是更加合适。

patagonia

另外一篇报道：

ceph作为OpenStack的后端存储解决方案
Piston Cloud Computing公司介绍

Piston Cloud Computing,inc 是一间建立于2011年的软件公司。主要创始人原来都是OpenStack的创建者，包括前NASA、Rackspace的员工。它们的主要产品是“Piston Enterprise OS”,是一款集成OpenStack,并用于大规模扩展的私有云操作系统。这款产品的特点是高安全性、高定制化。在它们的产品介绍中,管理员使用一个U盘(装有Piston Enterprise OS)，10分钟就能在一个机架上安装好私有云。

Ceph Lord

在2012年2月2日，DreamHost和Piston Cloud举办了2012年第二次”SFBay OpenStack”活动，主题是”Ceph Lords“。

第一个报告是由DreamHost的Ben Cherian, Tommi Virtanen and Carl Perry演讲，他们介绍了 Ceph and DreamHost的对象存储服务的部署。

第二个报告是由Piston Cloud的CTO Christopher MacGown做的演讲，他介绍了使用Ceph作OpenStack的块设备存储解决方案。

他的报告有几个要点：
1、shared storage的重要性。
2、storage and computation close to each other。
3、SAN和NAS的缺点(价格高、数据与计算分离、扩展性差、带宽有限制)。
4、ClusterFS作为块设备存储的缺点(不在kernel、使用fuse，速度慢)。
5、块设备存储解决方案必备条件(线性扩展、自动化)。
6、ceph的优点(在主线kernel中、client运行在内核态、支持普通硬件、线性扩展)。
7、Piston Cloud如何使用Ceph作为后端存储解决方案。
在Linux3.2.1上运行ceph 0.39,btrfs
使用RBD
自动配置ceph，自动增加节点到ceph cluster
配置host的RBD，然nova instance使用local volumes
使用nova volume rbd driver
8、不足之处
ceph在ext4上有一些问题
使用btrfs，但是btrfs在3.x之前的内核上都不够好

tjpm

Lustre主要是用在HPC行业内做共享存储，国内外大的超算中心大都是使用的Lustre的。配置维护比较麻烦，不是太适合一般的企业使用。

在超算行业里，目前Lustre算是久经考验并且大规模使用的文件系统了。

薄饼芥末

milujite 发表于 2013-03-06 10:59
另外不得不吐槽下，LUSTRE新版本目前怎么下载到？

http://downloads.whamcloud.com/public/lustre/

milujite

薄饼芥末 发表于 2013-03-25 18:21
http://downloads.whamcloud.com/public/lustre/

好人啊～官方太坑了

wang290

chenyx 发表于 2013-03-11 10:24
这个太详细了,果断收藏备用.

谢谢版大的收藏