rh的gfs疑问【已解决】

galford433

最近在做两台机器的gfs共享，fence用的ibm的bmc(ipmilan)，发现只要一台机器的共享存储无法访问，另一台机器跟着被拖下水，红帽官方资料资料也说了gfs两台没法冗余（http://www.redhat.com.cn/kbase/3851.php），日志里报这样的错：
Cluster is not quorate.  Refusing connection.
Error while processing connect: Connection refused。
我的gfs节点名是指定到心跳的网卡而非外网口网卡。
这里有兄弟能介绍下gfs可能造成这种错误诱因么？（人为的拔线除外）

[ 本帖最后由 galford433 于 2008-9-29 19:45 编辑 ]

micheas.liao

原帖由 galford433 于 2008-9-17 14:27 发表
最近在做两台机器的gfs共享，fence用的ibm的bmc(ipmilan)，发现只要一台机器的共享存储无法访问，另一台机器跟着被拖下水，红帽官方资料资料也说了gfs两台没法冗余（http://www.redhat.com.cn/kbase/3851.php） ...

gfs早使用分布式锁管理dlm了，不存在你说的两台机无法冗余，kbase上的是基于“相关版本: 红帽企业版Linux 3 ”的。

galford433

喔，但是我在测试时发现一旦我把某台机器给关了，共享盘就访问不了了，日志里一直刷上面的错误直到那台机器起来，一直没找准问题所在……
难道是quorum的问题？

13251947

你做的结构有问题，整体贴出来分析一下

johnyo

貌似Fence的问题。把你的日志贴出来吧。

jerrywjl

除了配置过程，物理结构很关系的。我估计，你的连接方面就有问题。但是需要更多的东西分析。

galford433

几天没来了……感谢各位大大的帮忙。那两台测试机给我重新胡来了一次，正在测靠heartbeat掌管共享盘的试验（专门写了个检测共享盘挂载的脚本，结合heartbeat自己的脚本，并且把它respawn了），目前还在看效果，所以原机上的配置只有我备份的了：

连法就是两台机器hba卡连到阵列，一对网卡心跳（ha1,ha2），一对网卡出去，fence用的ibm bmc(ipmi)
cluster.conf

<?xml version="1.0"?>
<cluster alias="new_cluster" config_version="5" name="new_cluster">
<quorumd device="/dev/sdc2" interval="5" label="qdisk" min_score="3" tko="12" votes="1">
<heuristic interval="2" program="/bin/true" score="1"/>
</quorumd>
<fence_daemon post_fail_delay="0" post_join_delay="3"/>
<clusternodes>
<clusternode name="ha1" nodeid="1" votes="1">
<fence>
<method name="1">
<device lanplus="" name="fence_bmc1"/>
</method>
</fence>
</clusternode>
<clusternode name="ha2" nodeid="2" votes="1">
<fence>
<method name="1">
<device lanplus="" name="fence_bmc2"/>
</method>
</fence>
</clusternode>
</clusternodes>
<cman expected_votes="1" two_node="1"/>
<fencedevices>
<fencedevice agent="fence_ipmilan" auth="password" ipaddr="10.0.0.40" login="USERID" name="fence_bmc1" passwd="PASSW0RD"/>
<fencedevice agent="fence_ipmilan" auth="password" ipaddr="10.0.0.41" login="USERID" name="fence_bmc2" passwd="PASSW0RD"/>
</fencedevices>
<rm>
<failoverdomains>
<failoverdomain name="cluster_failover" ordered="0" restricted="0">
<failoverdomainnode name="ha1" priority="1"/>
<failoverdomainnode name="ha2" priority="1"/>
</failoverdomain>
</failoverdomains>
<resources>
<clusterfs device="/dev/sdc3" force_unmount="0" fsid="15000" fstype="gfs" mountpoint="/db" name="new_cluster:gfs2" options=""/>
</resources>
</rm>
</cluster>

报错就是上面提到的那样
我只是想知道一般都有什么原因导致错误的发生，因为日志里完全没看出来，就只提到quorum丢失然后开始刷
Cluster is not quorate.  Refusing connection.
Error while processing connect: Connection refused。
出现过两次这种情况，其中一次是我朝上面插了个U盘……

nhuczp

试一下GFS2!!

jerrywjl

原帖由 galford433 于 2008-9-29 02:10 发表
几天没来了……感谢各位大大的帮忙。那两台测试机给我重新胡来了一次，正在测靠heartbeat掌管共享盘的试验（专门写了个检测共享盘挂载的脚本，结合heartbeat自己的脚本，并且把它respawn了），目前还在看效果， ...

把你的quorum disk去了，这个地方有问题！而且two node cluster不需要qdisk。

galford433

3Q,用quorum只是想降低脑裂的风险，如果2个点quorum真的没意义的话偶就把它扔了