论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2007-01-16 15:00 |只看该作者 |倒序浏览

最近两个星期都在看关于分布式文件系统的东西，GFS和Lustre各搭了一套，但是都不理想。
如果没有硬件的共享磁盘，节点fail之后，两个系统都会挂起。

我的目标是实现一个不使用特殊硬件，仅用本地硬盘组成一个分布式的文件系统，没有单点，有数据冗余，自动故障转移。

http://www.redhat.com/magazine/008jun05/features/gfs/
这个文章的图7里面是挺理想的一个状态，但是磁盘还是要共享的。

也实验了几个用户空间的系统，比如apache的hadoop，功能是很不错，但是效率方面的差距还是很大的。

哪位能点拨一下吗？

文库|博客

nntp

版主

论坛徽章:: 0

2楼 [报告]

发表于 2007-01-16 20:16 |只看该作者

貌似你没有搞清楚到底自己要的是分布式文件系统还是一个集群文件系统.
GFS和lustre根本就是两码事. 八杆子打不到一起的东西.

你到底要什么?明确到底要什么先.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

kartwall

稍有积蓄

论坛徽章:: 0

3楼 [报告]

发表于 2007-01-17 09:53 |只看该作者

楼主要的应该是分布式文件系统，可以将多个分散的物理盘合成一个逻辑盘，然后要没有单点故障，自动迁移－是不是可以把这个理解成软RAID？

应该是这个意思吧

不过我不知道目前有什么好的解决方案，等到高手解答

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

sinofool

白手起家

论坛徽章:: 0

4楼 [报告]

发表于 2007-01-17 10:50 |只看该作者

这样啊……

是不是可以这样理解，集群文件系统是主要处理多client并发读写的问题，分布式文件系统是解决文件量的问题。
要组这个存储是网站用来存上传图片的，并发读写并不多，主要面临的问题是成本和存储量。
是要一个分布式文件系统。

GFS用gnbd也可以组成个类似分布式的结构。看来是这里让我混乱了。