互联网技术热点之--分布式文件系统，Lustre路在何方？（获奖名单已公布2013-4-7）

T-Bagwell

回复 26# qidunhu

http://www.doc88.com/p-39090968578.html
是这个吗？
有什么优势呢？
   

ddd010

除了NFS用过，其它都没有用过。

linux_c_py_php

没做过, 不敢乱说, 一切都源于谷歌论文, 分布式算法终于被将信将疑的证实为可用.

瀚海书香

回复 1# send_linux
我们这边的分布式文件系统是前辈们自己开发的

@余庆 或说跟@庄远 什么关系？

   

瀚海书香

回复 26# qidunhu

目前打算使用SNFS分布式文件系统，计算节点的计算量和IO量都很大...

现在有商用的场景了吗？
   

tomer

回复 24# hbsycw


    目前地价这么贵，搞一堆PC，多占地方啊。还不如几台小机呢。

lijunzong

LUSTRE 处理大文件牛b还是小文件牛b?
前期搭建环境测试了一下 性能还不如GFS 。

hbsycw

回复 36# tomer

小机和云相比，小机的计算能力是有限的，而云的计算能力是无穷的，而且是可以卖钱的，当然不同啦~


   

craaazy123

没用过Lustre，表示很是关注，听说Lustre不太适应小文件

wang290

lijunzong 发表于 2013-03-08 15:27
LUSTRE 处理大文件牛b还是小文件牛b?
前期搭建环境测试了一下 性能还不如GFS 。

分布式文件系统之Lustre功能测试报告前言

对Lustre的研究已经有一段时间了，由刚开始对Lustre的期待，到现在对其在我们目前服务器环境上运用可行性的怀疑，新的技术，必须经受足够的考验，才能成为凤凰涅槃，不断强壮。

在此不免要对我们当前环境再做一次简单的描述。提供动态页面服务的resin服务器和提供前端加速的squid服务器，对磁盘空间的要求很小，因此，每台服务器的硬盘上除了装一个操作系统，就是resin动态应用和squid的磁盘缓存，总的磁盘空间占用不会超过5G。基于这样的环境，我们不免会打这些剩余磁盘空间的主意。我们希望找到一款开源的分布式文件系统软件，来整合我们这些磁盘的剩余空间。

随着对分布式文件系统的深入了解，我们越来越发现，我们最初的想法是不正确的，因为在任何一个大的系统中，存储都是独立的。把应用服务器和存储分开，才能最大限度的发挥二者的性能，并且方便进行管理。因此，基于这样的想法，我构思了几种方案。但本篇报告的重点在Lustre，我构思的那几种方案将另辟一文进行描述。

Lustre简单介绍

Lustre文件系统是基于对象存储的文件系统，它有三个部分组成：

1．  元数据服务器（Meta Data Server，MDS）

2．  对象存储服务器（Object Storage Server，OSS）

3．  Lustre客户端

更详细的介绍，请参考之前的分布式文件系统报告。

实验环境

因为本次进行的是Lustre的功能测试，故实验环境不进行详细的介绍。

硬件环境包括若干台服务器，软件环境如下：

操作系统	RHEL 4 AS Update 4
内核	2.6.9-42.0.10.EL_lustre.1.4.10（官方提供，打过Lustre补丁）
Lustre版本	lustre-1.4.10
Heartbeat版本	heartbeat-2.0.8
其他软件	Perl，Python，PyXML等

功能测试内容

1．  单节点的Lustre

2．  多节点的Lustre

3．  Lustre的Failover

4．  Lustre的quota