我的RHEL 3 HA cluster的两个节点都挂载了共享存储

jamesb

我一直说不管RHCS还是 linux-ha 也好，采用的都是不太可靠的 Tiebreaking机制.

我是针对你的这句话所说的，你告诉我，什么叫可靠的tiebreaking机制？

nntp

原帖由 jamesb 于 2005-12-21 15:02 发表
这里看到的vmware share disk就不正常能够，你在一段写的数据进去，这边需要过一段时间才能看到，不知道你有什么办法解决。

RHCS还是SGLX?

察看我以往发的帖关于RHCS的态度，我个人是不推荐RHCS的，即便是现在的v4.

我只能精确的告诉你HP的MC/SG for linux的做法.

共享的share disk 做出来后，首先fdisk ，假设你的shared disk 是 sda.
结果类似这样的，下面是我从我的vmware 环境copy出来的

#fdisk /dev/sda
#fdisk -l /dev/sda

Disk /dev/sda: 10.4 GB, 10486579200 bytes
255 heads, 63 sectors/track, 1274 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot    Start       End    Blocks   Id  System
/dev/sda1             1         1      8001   83  Linux

HP MC/SG要求 quorum LUN 是一个 start 1 end 1的partition.

如果你不用第三个server 做quorum server 来解决brain-split,  Quorum lun/disk 是第二选择.

这个分区不要创建文件系统,也不要创建raw的操作，切出来后直接让MC/SG for linux 的core system来读写。

无论是在真实的多结点(2, 3, 4, 8, 16)还是在vmware里面(2 node, 3 node) 都是这样操作的，看不到类似RHCS之类的sharedisk上quorum的问题.

jamesb

我说的是通常情况，在vmware 里使用同一个文件作为共享磁盘的时候，数据更新不是实时同步的，你可以测试一下。用作共享存储方数据没有问题，但是用作quorum盘就有问题。

nntp

原帖由 jamesb 于 2005-12-21 15:21 发表
我说的是通常情况，在vmware 里使用同一个文件作为共享磁盘的时候，数据更新不是实时同步的，你可以测试一下。用作共享存储方数据没有问题，但是用作quorum盘就有问题。

我说了，这个和cluster software 怎样实现quorum 有关系的.

从微软的Quorum partition里面那个70多MB的quorum file, 到RHCS(也就是kimberlite)的quorum partition,到其他的商业产品的quorum 机制都是不一样的，所以不存在一个"同常"的情况.

如果我们把问题讨论范围定义在RHCS之内，你的看法我一点意见都没有，的确是那样的.而且RHCS从kimberlite老祖宗开始到v2.1 v3.0 v4.0都没有大的改变.

但是如果是横向比较HA cluster , 我觉得你说的是不对的。一个好的HA集群产品，在怎样实现Quorum,怎样实现Quorum lun/disk/server，差别很大.实际使用效果也差别很大.

boycw

楼主的这个情况我也遇到过了，解决方法如下：
1。删除2个节点的/etc/cluster.conf 文件。
2。关闭一个虚拟机，只配置一台机器，配置好群集，根据你的配置，成员应该是换成10.0.0.130和10.0.0.140。
3。你可以把广播心跳和多址传播心跳两者都启用，但是你必须至少启用其中之一。通过频道接合的以太网接口来发送的多址传播心跳提供了较好的容错性能。推荐你使用它来实现可用性。及选择 Enable Broadcast Heartbeating
4。运行 /usr/sbin/shutil -i 来初始化共享贮存区 注意 这个命令只在一台节点上运行
5。启动另一个虚拟机，复制/etc/cluster.conf 到这个虚拟机。
6。先启动一个节点的clustermanager ，等服务全起来以后，再启动另一个节点的clustermanager 。
这样应该可以正常了

lky

原帖由 jamesb 于 2005-12-21 15:21 发表
我说的是通常情况，在vmware 里使用同一个文件作为共享磁盘的时候，数据更新不是实时同步的，你可以测试一下。用作共享存储方数据没有问题，但是用作quorum盘就有问题。

Vmware Gsx for Linux 我测试的时候也发现共享盘不同步，但GSX for windows 就没有这个问题。而且在Linux 下 scsi1.sharedBus = "virtual" 这句是不能加的，windows 下就可以加，不知道是不是这个原因。

joyhappy

实际上，防止split-brain的方式有很多中，在rhes4中，io-fence设备就是这个目的。

通常，当HA的心跳通路全部故障时，如果不借助一些硬件机制，HA基本处于崩溃状态。轻者中断业务，重者破坏数据。实乃HA之死穴。

一般为规避split-brain，牛的商业HA软件采用如下方式解决（如life-keeper, VCS, failsafe）：
1。多种心跳介质：
  如串口，网络，共享磁盘等
2。多条通道：
  可以同时配置多条通道，一条坏了，可以使用其他的。降低split-brain的概率。
3。quorum（投票机制）
4。iofence
   万一发生split-brain，可以通过硬件来防止数据被破坏。
   1）STONITH（简单讲就是重启动另一台机器）
   powerswith方式（通过串口重启其他机器），需要额外购买一个powerswith的盒子，好像不便宜，所以这种方式市场上真正用的不多；
   也有通过网口重启其他机器的。
   2）锁方式
   scsi reservation，这种方式较好，因为只要有共享的SCSI盘阵即可。但hp的盘阵cciss驱动的好像不支持；
   
个人认为，rhes4中的HA是用过的HA中最差的，好像是给个人配置玩一玩还可以。同真正的商业的HA软件相比，无论是易用性、可维护性、稳定性都较差。
不过我觉得rh的HA可能会改进得很快，据说有不少HA的牛人被rh挖过去了。

blue_stone

split brain会对系统造成什么样的为害？

如果使用cluster filesystem是否可以避免磁盘不一致的情况？

nntp

原帖由 blue_stone 于 2005-12-28 23:41 发表
split brain会对系统造成什么样的为害？

如果使用cluster filesystem是否可以避免磁盘不一致的情况？

what's your point?

http://www.google.com  brain-split

http://www.google.com cluster filesystem

ljhb

cluster filesystem只是能保证两边写的时候文件系统不会出错，但是并不能保证数据不会出错，比如数据库，在没有并行机制的保证下，两边同时起的话，很可能造成数据破坏