分布式存储的一些问题

nntp

原帖由 myprotein 于 2006-9-26 11:23 发表
lustre和pvfs没有冗余措施么？
一个io节点down了，所有数据就不能访问了么？
是不是因为每个文件都被strip到所有io节点上？

1.两者都有冗余的配置方法.
2.在你说的这种情况下，不是所有数据都不能访问，而是牵涉到down掉节点的数据无法访问，不过在冗余的配置下是可以克服的.

myprotein

谢谢nntp了
还有一事不明：

pvfs，lustre，coda这些文件系统，据我看得一些文档，是不是只是在物理文件系统（比如ext，jfs等）上虚拟出一层来，就像nfs机制一样，然后加上同步，冗余，锁等等机制来实现？pvfs2和lustre没有对底层磁盘的数据结构管理，是么？

而gfs，gpfs等文件系统，是本身就是一个物理文件系统，既可以当作本地物理fs，又可以export给别的节点，可以这么理解么？

[ 本帖最后由 myprotein 于 2006-9-26 16:28 编辑 ]

nntp

I suggest you learn them one by one.


1. no. pvfs, lustre, coda all have specific layer to deal with I/O. They are very different from NFS. The function layer you see is exactly not "virtual" but real. They are Parallel File System with latest network(GibE/IB/Myrinet) Distributed technology.(this is the reason why we like to call them Distributed Filesystem as well).

2. yes. pvfs2/lustre has low level I/O implementation. And this is the key factor when we measure their performance and think of tuning on them.

3. no. gfs has lock(DLM), membership mgm(provided by cluster mgr inside the rhcs) and other parts as standard cluster file system do has. Not only gfs but lustre can resident on a single server and export it's storage space to other consumers.

[ 本帖最后由 nntp 于 2006-9-28 00:14 编辑 ]

myprotein

还是有些糊涂，以nntp老大的意思：

1、lustre pvfs2等fs，是基于ext2、3，jfs等物理本地文件系统之上的（不知道这个词我说的对不对），而不能脱离物理本地文件系统，是么？ 这个好像nntp没有明确的说是或者不是，我又愚顿，所以再确认一下。


2、gfs，根据我看的文档，都没有提过他是基于物理本地文件系统的，因此我猜测，gfs定义了一套自己管理磁盘的数据结构，是这样的么？

在下实在愚顿不堪，恳求nntp的教导。

myprotein

小顶一下，别介意