3节点sun cluster群集，无法添加仲裁盘，求助!

liusu_520

平台：virtual box
三台主机分别叫sol02,sol103,sol104
四块磁盘：2个1G，2个4G

cluster群集搭建完后状态。
-bash-3.2# scstat -n

-- Cluster Nodes --

                    Node name           Status
                    ---------           ------
  Cluster node:     sol102              Online
  Cluster node:     sol103              Online
  Cluster node:     sol104              Online

-bash-3.2# scstat -q

-- Quorum Summary from latest node reconfiguration --

  Quorum votes possible:      3
  Quorum votes needed:        2
  Quorum votes present:       3


-- Quorum Votes by Node (current status) --

                    Node Name           Present Possible Status
                    ---------           ------- -------- ------
  Node votes:       sol102              1        1       Online
  Node votes:       sol103              1        1       Online
  Node votes:       sol104              1        1       Online


-- Quorum Votes by Device (current status) --

                    Device Name         Present Possible Status
                    -----------         ------- -------- ------

三台主机看到的都是一样的，磁盘没有问题。
-bash-3.2# scdidadm -L
1        sol102:/dev/rdsk/c0t0d0        /dev/did/rdsk/d1     
2        sol102:/dev/rdsk/c0t1d0        /dev/did/rdsk/d2     
3        sol103:/dev/rdsk/c0t2d0        /dev/did/rdsk/d3     
3        sol102:/dev/rdsk/c0t2d0        /dev/did/rdsk/d3     
3        sol104:/dev/rdsk/c0t2d0        /dev/did/rdsk/d3     
4        sol103:/dev/rdsk/c0t3d0        /dev/did/rdsk/d4     
4        sol102:/dev/rdsk/c0t3d0        /dev/did/rdsk/d4     
4        sol104:/dev/rdsk/c0t3d0        /dev/did/rdsk/d4     
5        sol103:/dev/rdsk/c0t4d0        /dev/did/rdsk/d5     
5        sol102:/dev/rdsk/c0t4d0        /dev/did/rdsk/d5     
5        sol104:/dev/rdsk/c0t4d0        /dev/did/rdsk/d5     
6        sol103:/dev/rdsk/c0t5d0        /dev/did/rdsk/d6     
6        sol102:/dev/rdsk/c0t5d0        /dev/did/rdsk/d6     
6        sol104:/dev/rdsk/c0t5d0        /dev/did/rdsk/d6     
7        sol103:/dev/rdsk/c0t0d0        /dev/did/rdsk/d7     
8        sol103:/dev/rdsk/c0t1d0        /dev/did/rdsk/d8     
9        sol104:/dev/rdsk/c0t0d0        /dev/did/rdsk/d9     
10       sol104:/dev/rdsk/c0t1d0        /dev/did/rdsk/d10


-bash-3.2# cldev status -v

=== Cluster DID Devices ===

Device Instance                      Node                       Status
---------------                      ----                       ------
/dev/did/rdsk/d1                     sol102                     Ok

/dev/did/rdsk/d3                     sol102                     Ok
                                             sol103                     Ok
                                             sol104                     Ok

/dev/did/rdsk/d4                     sol102                     Ok
                                             sol103                     Ok
                                             sol104                     Ok

/dev/did/rdsk/d5                     sol102                     Ok
                                             sol103                     Ok
                                             sol104                     Ok

/dev/did/rdsk/d6                     sol102                     Ok
                                             sol103                     Ok
                                             sol104                     Ok

/dev/did/rdsk/d7                     sol103                     Ok

/dev/did/rdsk/d9                     sol104                     Ok


想添加冲裁盘，报错，无法添加，找不到原因，请大神指教！
-bash-3.2# clquorum add d3
clquorum:  (C192716) I/O error.
-bash-3.2# clquorum add d4
clquorum:  (C192716) I/O error.
-bash-3.2# clquorum add d5
clquorum:  (C192716) I/O error.
-bash-3.2# clquorum add d6
clquorum:  (C192716) I/O error.

mjlzg

把路径写全试试

liusu_520

路径写全了也不行

-bash-3.2# clquorum add /dev/did/rdsk/d4s2
clquorum:  (C192716) I/O error.


-bash-3.2# clquorum add /dev/did/rdsk/d4
clquorum:  (C192716) I/O error.

liusu_520

仲裁盘可以添加，只是加上去状态不对，Present为0，而不是2，也不能online，不知道什么原因。

-bash-3.2# scstat -q

-- Quorum Summary from latest node reconfiguration --

  Quorum votes possible:      5
  Quorum votes needed:        3
  Quorum votes present:       3


-- Quorum Votes by Node (current status) --

                    Node Name           Present Possible Status
                    ---------           ------- -------- ------
  Node votes:       sol10-2             1        1       Online
  Node votes:       sol10-3             1        1       Online
  Node votes:       sol10-4             1        1       Online


-- Quorum Votes by Device (current status) --

                    Device Name         Present Possible Status
                    -----------         ------- -------- ------
  Device votes:     /dev/did/rdsk/d5s2  0        2       Offline

119beyond

看   看，        给你顶一顶

nimysun

回复 1# liusu_520
  I/O error很有可能是virtual box本身的问题。或者你自己测试一下这个d6s2的设备你用OS命令能不能在所有的节点上做读写？

q1208c

virtual box 支持共享磁盘么？

zhangyudong1987

回复 7# q1208c

是支持的；只需要把磁盘设置为share模式就可以

东方蜘蛛

回复 1# liusu_520

你的quorum device有没有用zfs？我之前碰到过这样的案例，不知道和你的一样不。

在使用ZFS配置磁盘阵列后发现messages中大量如下报错：

Apr  7 11:10:50 N240 cl_runtime: [ID 856360kern.warning] WARNING: QUORUM_GENERIC: quorum_read_keys error: Reading theregistration keys failed on quorum device /dev/did/rdsk/d1s2 with error 22.

原因：使用zfs后硬盘的分区表发生变化，导致quorumdevice的key信息损坏。

处理方法：

1).先配置zfs，后配置quorum device；

2).重新指定一个quorum device，再删除原有quorum device。

119beyond

高大上，没有搞过