gluster 文件系统

nntp

原帖由 root_man 于 2008-2-21 11:00 发表


关注测试结果

1> client端
wget http://dev.centos.org/centos/4.4 ... .6.9-42.EL.i686.rpm
wget http://linux.web.psi.ch/dist/scientific/44/update/20080130/k ...

重新帖一边顶楼起这个帖的同学的帖子:

GlusterFS Cluster File System
GlusterFS is a Cluster File System that aggregates multiple storage bricks over InfiniBand RDMA into one large parallel network file system.

看仔细了哟,然后想想为啥性能是这个样子的.

lurejohn

我再来跟一下这个GlusterFS。

首先解释一下为什么GlusterFS的性能比单机文件系统如ext3差，我试图从两个方面进行说明：
1.GlusterFS是一个cluster文件系统，因此，它的高性能必须得在集群应用环境下才能体现出来，同时还依赖于必须在高性能网络环境例如infiniband。
2.GlusterFS是基于fuse的，即filesystem in userspace，我们知道，磁盘上的数据到被用户（例如应用程序）使用，是经过这样的几层的：磁盘--文件系统--VFS--用户，而fuse是位于VFS和用户之间的，因此性能上肯定会有折扣。这一点从ZFS on fuse上也能得到体现。

跟完这个GlusterFS，说说我最近有空做的一些东西。
辞职报告上交之后到离职的一个月，基本上很空闲，就做了几个文件系统的测试，jfs，xfs，reiserFS，reiser4，ext4，当然还有zfs，得到了一些测试数据，由于离开公司时忘记把数据带出来，记得的大概如下：
1.reiserFS，resier4在顺序读写时基本可发挥磁盘性能的极限。
2.reiserFS，reiser4对于大量小文件在读写方面（测试内容包括find，ls -R，chown -R，rm等）性能比其他几个文件系统都要好。

基本就这样了，准备去新公司上班了：）

原帖由 root_man 于 2008-2-21 11:00 发表


关注测试结果

1> client端
wget http://dev.centos.org/centos/4.4beta/os/i386/CentOS/RPMS/kernel-devel-2.6.9-42.EL.i686.rpm
wget http://linux.web.psi.ch/dist/scientific/44/update/20080130/k ...

molecar

谢谢楼上的分析，非常好！

root_man

我一直在关注这个文件系统
因为实在找不到什么其他好的(nfs+cachefs?)来解决多server 多client的性能好 无单点故障的共享办法 .
今天突然想到 转化个思路如何.
看过glusterfs知道, glusterfs可以做成Automatic File Replication (Mirror) across N Storage Servers.
即 架设我有3台机器  c1 c2 c3,   ,每台机器都做为glusterfs-server 和  glusterfs-client
分别在三台上面都建立目录/datacenter做为数据目录.
分别在三台建立/mg目录 做为挂载glusterfs的目录

刚开始的思路是 读取写入都从/mg目录下进行  
版主也提醒了  glusterfs 在tcp/ip环境下  读取性能很差
那好  我们换个思路
在c1上执行
建立目录/mg/writefolder  
建立软连接 /mg/ln 到/mg/writefolder

然后到/datacenter目录下  会看到
/datacenter/writefolder
/datacenter/ln  -> /mg/writefolder
所有需要写的东西都写到/datacenter/ln 目录下 如 touch /datacenter/ln/test.txt
文件写到了 /mg/writefolder下  同样 /datacenter/writefolder目录下出现了同样的文件

同样  在c2 c3上都运行glusterfs-server          glusterfs-client
用这个办法  读取的时候读取绕过了glusterfs 而直接读取/datacenter目录下的文件
写入的时候写入仍然写入glusterfs  即写入到/datacenter/ln目录下
以此来实现读取的高性能 以及文件的共享
上面主要用于  读取频繁 写入少的情况
不知道我表达清楚没有
太激动了....

[ 本帖最后由 root_man 于 2008-4-28 11:34 编辑 ]

troyme

原帖由 root_man 于 2008-4-25 20:14 发表
我一直在关注这个文件系统
因为实在找不到什么其他好的(nfs+cachefs?)来解决多server 多client的性能好 无单点故障的共享办法 .
今天突然想到 转化个思路如何.
看过glusterfs知道, glusterfs可以做成Automa ...

对于  直接读取/datacenter目录下的文件，对于你的应用，相当于具有实时网络备份功能的三个应用服务器，对于存储的空间要求是很高的（2个备份），节点增多，成本随之增高（更多备份）。这种方式只能用于少量的部署，而不适用于大规模的应用部署。

对于glusterfs这个文件系统，他的优势在于能利用infiniband的native的传输协议，在多个服务器的情况下，能极大提高多个客户端条件下的读取写入性能。而且一般不赞成将client和server放在一起（基于fuse，有着稍高的cpu占用）。

同时他是基于文件级别的共享（官方不赞成用网络strip方式），因此单点失效不会影响整个系统的文件服务，只是失效单点的文件不能访问，因此在做网络冗余的条件下（一个备份），有着非常好的可用性。

root_man

对  确实是小规模应用
足以应付我现在需求
^_^

molecar

呵呵！各有各的优势！建议大家多抛砖引玉！

l17728

请问GlusterFS最大支持多少个节点：）

happy_fish100

大家可以试试FastDFS，我写的一个开源的分布式文件系统，刚推出不久，请大家多多支持！
详情请参阅：http://code.google.com/p/fastdfs/

sun_quanhui

对这个gluster比较感兴趣，楼主，能不能把一些配置的步骤简单的描述一下，本人这里可以搭建各种环境进行测试，我的邮件是sunquanhui2008@gmail.com;qq:282798169，谢谢！