超级高手请把把方案的脉！ 关于gfs 和cluster的问题。

fengdama

多个计算节点访问存储的问题，现在有如下方案。

1。 一台服务器虚拟成iscsi设备。多台计算节点。 如果建成一个cluster，每个node都找到该iscsi设备，建立逻辑卷并做成gfs文件系统。目前这个可以实现。


2。 一台服务器虚拟成iscsi设备。两台storage服务器做成一个cluster，他们都找到该iscsi设备，其中一台nfs export出来。另一台通过cluster的功能做ha保护。多台计算节点访问nfs。目前这个也可以实现。

3。一台服务器虚拟成iscsi设备。两台storage服务器做成一个cluster，他们都找到该iscsi设备，建立逻辑卷，并做成gfs文件系统。其中一台将该gfs文件系统当作gnbd export出来，另外一台通过cluster的功能做ha。多台计算节点使用这个gnbd。   这个应该也可以实现。
关键是：我觉得这个方案有问题：gfs一般是指集群的多个节点来操作同一个文件系统。而现在仅仅是一台机器把gfs文件系统作为gnbd的方式共享给多台计算节点（这些计算节点不是cluster），这样做怎么体现gfs的优点呢？我感觉这样做相当于多了一层协议，io的读写效率应该很低

因此，想问问坛子里的高手，超级高手，方案3有没有问题？

（我的理解：gfs需要集群，但gfs不是服务，gfs不是需要集群的ha功能，而是需要集群里的多个node同时来读写，这样才能体现gfs的优势。）

大家拍拍！

[ 本帖最后由 fengdama 于 2009-12-25 14:40 编辑 ]

l_penny

我认为方案3效率比方案2要高，gnbd所提供的iscsi协议本身就比nfs的tcp/ip读写效率高，再加上gfs还有比较优秀的缓存机制。

kns1024wh

技术成熟度 维护花费时间 故障率 等几个综合考虑下

fengdama

原帖由 l_penny 于 2009-12-25 15:29 发表
我认为方案3效率比方案2要高，gnbd所提供的iscsi协议本身就比nfs的tcp/ip读写效率高，再加上gfs还有比较优秀的缓存机制。

目前我没有搞成，export gnbd的时候没有问题，但import的时候不成功，提示不在集群里。

fengdama

原帖由 kns1024wh 于 2009-12-27 09:47 发表
技术成熟度 维护花费时间 故障率 等几个综合考虑下

只有方向，没有具体观点啊。

jerrywjl

我曾经针对GNBD的内容写过一个文章，目的是不希望大家用这个玩意，但当时我的测试环境是ISCSI，多路径的链路切换速度慢到吐血。不知道在FC环境中，GNBD实现的multipath效果如何。

wolfop

除非你是需要RAC，其他情况文件访问，GFS并不是强项，尤其是很多小文件的情况下。
所以，从我的经验，更接近推荐方案2.
如果有钱，直接用NETAPP/IBM的NAS。

fengdama

原帖由 jerrywjl 于 2009-12-29 10:44 发表
我曾经针对GNBD的内容写过一个文章，目的是不希望大家用这个玩意，但当时我的测试环境是ISCSI，多路径的链路切换速度慢到吐血。不知道在FC环境中，GNBD实现的multipath效果如何。

你的这个意见对我有指导意义。 对gnbd的用法我们还在考虑。

另外fc太贵，我们可能用iscsi方式。 目前有dell的推荐eql。

但是如何做到gfs ＋ iscsi还没有定。

他们推荐方案1。 并且说方案3他们从来没有见过。（？？？）

方案1好实现，但是没有ha。

fengdama

原帖由 wolfop 于 2009-12-29 11:50 发表
除非你是需要RAC，其他情况文件访问，GFS并不是强项，尤其是很多小文件的情况下。
所以，从我的经验，更接近推荐方案2.
如果有钱，直接用NETAPP/IBM的NAS。

正在测试方案2：

这是NFS的输出机的log信息。
Dec 31 01:44:33 p1 kernel: rpc-srv/tcp: nfsd: got error -104 when
sending 140 bytes - shutting down socket
Dec 31 01:46:13 p1 kernel: rpc-srv/tcp: nfsd: got error -104 when
sending 140 bytes - shutting down socket

传大文件就有这样的问题。

kns1024wh

原帖由 fengdama 于 2009-12-31 14:30 发表


正在测试方案2：

这是NFS的输出机的log信息。
Dec 31 01:44:33 p1 kernel: rpc-srv/tcp: nfsd: got error -104 when
sending 140 bytes - shutting down socket
Dec 31 01:46:13 p1 kernel: rpc-srv/ ...

之前的服务器转做他用要不也可以帮你测试下的