双机问题！

hlhl2003

两台880主机，接两台3310阵列，用volume manager做的卷管理，两台阵列做的软raid1，现在一台主机上只能看到一台阵列，物理上只能看到一台，而现在双机的资源组就是跑在这台机器上，我想资源切回一台主机上，但如果切到另一台主机，两个阵列的数据不就不一至了！切回去后，两个阵列会同步吗？哪位高手回我一下！

东方蜘蛛

为什么一台主机只能看到一个阵列呢？那2个阵列之间做raid1是怎么实现呢？

另一台主机也能看到第一台主机看到的阵列么？还是只能看到另一台阵列？

数据同步不是由cluster切换决定的，是由你的卷管理是否正常决定的。

东方蜘蛛

HW的双机吧

hlhl2003

第一台设备：root@m2000svr1 # scstat
------------------------------------------------------------------

-- Cluster Nodes --

                    Node name           Status
                    ---------           ------
  Cluster node:     m2000svr1           Online
  Cluster node:     m2000svr2           Online

------------------------------------------------------------------

-- Cluster Transport Paths --

                    Endpoint            Endpoint            Status
                    --------            --------            ------
  Transport path:   m2000svr1:qfe3      m2000svr2:qfe3      Path online
  Transport path:   m2000svr1:eri0      m2000svr2:eri0      Path online

------------------------------------------------------------------

-- Quorum Summary --

  Quorum votes possible:      3
  Quorum votes needed:        2
  Quorum votes present:       3


-- Quorum Votes by Node --

                    Node Name           Present Possible Status
                    ---------           ------- -------- ------
  Node votes:       m2000svr1           1        1       Online
  Node votes:       m2000svr2           1        1       Online


-- Quorum Votes by Device --

                    Device Name         Present Possible Status
                    -----------         ------- -------- ------
  Device votes:     /dev/did/rdsk/d10s2 1        1       Online

------------------------------------------------------------------

-- Device Group Servers --

                         Device Group        Primary             Secondary
                         ------------        -------             ---------
  Device group servers:  rmt/1               -                   -
  Device group servers:  rmt/2               -                   -
  Device group servers:  m2000dg             m2000svr2           m2000svr1
  Device group servers:  bak1dg              m2000svr1           -
  Device group servers:  bak2dg              m2000svr2           -


-- Device Group Status --

                              Device Group        Status              
                              ------------        ------              
  Device group status:        rmt/1               Offline
  Device group status:        rmt/2               Offline
  Device group status:        m2000dg             Online
  Device group status:        bak1dg              Online
  Device group status:        bak2dg              Online

------------------------------------------------------------------

-- Resource Groups and Resources --

            Group Name          Resources
            ----------          ---------
Resources: ha_m2000_rg         hadgs m2000svr sybase_re sybase_rs m2kapp_rs
Resources: m2k1_rg             ha_m2k1_re
Resources: m2k2_rg             ha_m2k2_re


-- Resource Groups --

            Group Name          Node Name           State
            ----------          ---------           -----
     Group: ha_m2000_rg         m2000svr1           Offline
     Group: ha_m2000_rg         m2000svr2           Online

     Group: m2k1_rg             m2000svr1           Online

     Group: m2k2_rg             m2000svr2           Online


-- Resources --

            Resource Name       Node Name           State     Status Message
            -------------       ---------           -----     --------------
  Resource: hadgs               m2000svr1           Offline   Offline
  Resource: hadgs               m2000svr2           Online    Online

  Resource: m2000svr            m2000svr1           Offline   Offline - LogicalHostname offline.
  Resource: m2000svr            m2000svr2           Online    Online - LogicalHostname online.

  Resource: sybase_re           m2000svr1           Offline   Offline
  Resource: sybase_re           m2000svr2           Online    Online

  Resource: sybase_rs           m2000svr1           Offline   Offline
  Resource: sybase_rs           m2000svr2           Online    Online

  Resource: m2kapp_rs           m2000svr1           Offline   Offline
  Resource: m2kapp_rs           m2000svr2           Online    Online

  Resource: ha_m2k1_re          m2000svr1           Online    Online

  Resource: ha_m2k2_re          m2000svr2           Online    Online

------------------------------------------------------------------
root@m2000svr1 # vxprint =-  -ht
Disk group: rootdg

DG NAME         NCONFIG      NLOG     MINORS   GROUP-ID
DM NAME         DEVICE       TYPE     PRIVLEN  PUBLEN   STATE
RV NAME         RLINK_CNT    KSTATE   STATE    PRIMARY  DATAVOLS  SRL
RL NAME         RVG          KSTATE   STATE    REM_HOST REM_DG    REM_RLNK
V  NAME         RVG          KSTATE   STATE    LENGTH   READPOL   PREFPLEX UTYPE
PL NAME         VOLUME       KSTATE   STATE    LENGTH   LAYOUT    NCOL/WID MODE
SD NAME         PLEX         DISK     DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
SV NAME         PLEX         VOLNAME  NVOLLAYR LENGTH   [COL/]OFF AM/NM    MODE
DC NAME         PARENTVOL    LOGVOL
SP NAME         SNAPVOL      DCO

dg rootdg       all          default  50       1070350409.1025.m2000svr1

dm rootdisk_1   c1t0d0s2     sliced   10175    143339136 -
dm rootmirr_1   c1t1d0s2     sliced   10175    143328960 -

v  node@1       -            ENABLED  ACTIVE   1129536  ROUND     -        gen
pl node@1-01    node@1       ENABLED  ACTIVE   1129536  CONCAT    -        RW
sd rootdisk_1-03 node@1-01   rootdisk_1 140520383 1129536 0       c1t0d0   ENA
pl node@1-02    node@1       ENABLED  ACTIVE   1129536  CONCAT    -        RW
sd rootmirr_1-03 node@1-02   rootmirr_1 119547648 1129536 0       c1t1d0   ENA

v  opt          -            ENABLED  ACTIVE   20972736 ROUND     -        gen
pl opt-01       opt          ENABLED  ACTIVE   20972736 CONCAT    -        RW
sd rootdisk_1-04 opt-01      rootdisk_1 119547647 20972736 0      c1t0d0   ENA
pl opt-02       opt          ENABLED  ACTIVE   20972736 CONCAT    -        RW
sd rootmirr_1-04 opt-02      rootmirr_1 120677184 20972736 0      c1t1d0   ENA

v  rootvol      -            ENABLED  ACTIVE   85987200 ROUND     -        root
pl rootvol-01   rootvol      ENABLED  ACTIVE   85987200 CONCAT    -        RW
sd rootdisk_1-B0 rootvol-01  rootdisk_1 143339135 1     0         c1t0d0   ENA
sd rootdisk_1-02 rootvol-01  rootdisk_1 0      85987199 1         c1t0d0   ENA
pl rootvol-02   rootvol      ENABLED  ACTIVE   85987200 CONCAT    -        RW
sd rootmirr_1-01 rootvol-02  rootmirr_1 0      85987200 0         c1t1d0   ENA

v  swapvol      -            ENABLED  ACTIVE   33560448 ROUND     -        swap
pl swapvol-01   swapvol      ENABLED  ACTIVE   33560448 CONCAT    -        RW
sd rootdisk_1-01 swapvol-01  rootdisk_1 85987199 33560448 0       c1t0d0   ENA
pl swapvol-02   swapvol      ENABLED  ACTIVE   33560448 CONCAT    -        RW
sd rootmirr_1-02 swapvol-02  rootmirr_1 85987200 33560448 0       c1t1d0   ENA

Disk group: bak1dg

DG NAME         NCONFIG      NLOG     MINORS   GROUP-ID
DM NAME         DEVICE       TYPE     PRIVLEN  PUBLEN   STATE
RV NAME         RLINK_CNT    KSTATE   STATE    PRIMARY  DATAVOLS  SRL
RL NAME         RVG          KSTATE   STATE    REM_HOST REM_DG    REM_RLNK
V  NAME         RVG          KSTATE   STATE    LENGTH   READPOL   PREFPLEX UTYPE
PL NAME         VOLUME       KSTATE   STATE    LENGTH   LAYOUT    NCOL/WID MODE
SD NAME         PLEX         DISK     DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
SV NAME         PLEX         VOLNAME  NVOLLAYR LENGTH   [COL/]OFF AM/NM    MODE
DC NAME         PARENTVOL    LOGVOL
SP NAME         SNAPVOL      DCO

dg bak1dg       default      default  92000    1070417963.1218.m2000svr1

dm bak1dg1      c1t2d0s2     sliced   10175    143328960 -
dm bak1dg2      -            -        -        -        NODEVICE
dm bak1dg3      c1t4d0s2     sliced   10175    143328960 -
dm bak1dg4      c1t5d0s2     sliced   10175    143328960 -

v  bakvol       -            ENABLED  ACTIVE   286656512 SELECT   bakvol-02 fsgen
pl bakvol-01    bakvol       DISABLED NODEVICE 286657984 STRIPE   2/128    RW
sd bak1dg1-01   bakvol-01    bak1dg1  0        143328960 0/0      c1t2d0   ENA
sd bak1dg2-01   bakvol-01    bak1dg2  0        143328960 1/0      -        RLOC
pl bakvol-02    bakvol       ENABLED  ACTIVE   286657984 STRIPE   2/128    RW
sd bak1dg3-01   bakvol-02    bak1dg3  0        143328960 0/0      c1t4d0   ENA
sd bak1dg4-01   bakvol-02    bak1dg4  0        143328960 1/0      c1t5d0   ENA
root@m2000svr1 # format
Searching for disks...done


AVAILABLE DISK SELECTIONS:
       0. c1t0d0 <SUN72G cyl 14087 alt 2 hd 24 sec 424>
          /pci@8,600000/SUNW,qlc@2/fp@0,0/ssd@w500000e010414381,0
       1. c1t1d0 <SUN72G cyl 14087 alt 2 hd 24 sec 424>
          /pci@8,600000/SUNW,qlc@2/fp@0,0/ssd@w2100000c5032f2ad,0
       2. c1t2d0 <SUN72G cyl 14087 alt 2 hd 24 sec 424>
          /pci@8,600000/SUNW,qlc@2/fp@0,0/ssd@w500000e010414e61,0
       3. c1t3d0 <drive not available: formatting>
          /pci@8,600000/SUNW,qlc@2/fp@0,0/ssd@w500000e0103afde1,0
       4. c1t4d0 <SUN72G cyl 14087 alt 2 hd 24 sec 424>
          /pci@8,600000/SUNW,qlc@2/fp@0,0/ssd@w2100000c50c2d33c,0
       5. c1t5d0 <SUN72G cyl 14087 alt 2 hd 24 sec 424>
          /pci@8,600000/SUNW,qlc@2/fp@0,0/ssd@w500000e0104143e1,0
       6. c2t0d0 <SUN-StorEdge3310-0325 cyl 98 alt 2 hd 64 sec 32>
          /pci@8,700000/pci@2/scsi@5/sd@0,0
       7. c2t0d1 <SUN-StorEdge3310-0325 cyl 34720 alt 2 hd 127 sec 64>
          /pci@8,700000/pci@2/scsi@5/sd@0,1
       8. c3t0d0 <SUN-StorEdge3310-0325 cyl 98 alt 2 hd 64 sec 32>
          /pci@8,700000/pci@3/scsi@5/sd@0,0
       9. c3t0d1 <SUN-StorEdge3310-0325 cyl 34720 alt 2 hd 127 sec 64>
          /pci@8,700000/pci@3/scsi@5/sd@0,1

hlhl2003

第二台设备：
root@m2000svr2 # vxprint -ht
Disk group: rootdg

DG NAME         NCONFIG      NLOG     MINORS   GROUP-ID
DM NAME         DEVICE       TYPE     PRIVLEN  PUBLEN   STATE
RV NAME         RLINK_CNT    KSTATE   STATE    PRIMARY  DATAVOLS  SRL
RL NAME         RVG          KSTATE   STATE    REM_HOST REM_DG    REM_RLNK
V  NAME         RVG          KSTATE   STATE    LENGTH   READPOL   PREFPLEX UTYPE
PL NAME         VOLUME       KSTATE   STATE    LENGTH   LAYOUT    NCOL/WID MODE
SD NAME         PLEX         DISK     DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
SV NAME         PLEX         VOLNAME  NVOLLAYR LENGTH   [COL/]OFF AM/NM    MODE
DC NAME         PARENTVOL    LOGVOL
SP NAME         SNAPVOL      DCO

dg rootdg       all          default  100      1070351279.1025.m2000svr2

dm rootdisk_2   c1t0d0s2     sliced   10175    143339136 -
dm rootmirr_2   -            -        -        -        NODEVICE

v  opt          -            ENABLED  ACTIVE   20972736 ROUND     -        gen
pl opt-01       opt          ENABLED  ACTIVE   20972736 CONCAT    -        RW
sd rootdisk_2-04 opt-01      rootdisk_2 119547647 20972736 0      c1t0d0   ENA
pl opt-02       opt          DISABLED NODEVICE 20972736 CONCAT    -        RW
sd rootmirr_2-04 opt-02      rootmirr_2 120677184 20972736 0      -        NDEV

v  rootdisk_26vol -          ENABLED  ACTIVE   1129536  ROUND     -        gen
pl rootdisk_26vol-01 rootdisk_26vol ENABLED ACTIVE 1129536 CONCAT -        RW
sd rootdisk_2-03 rootdisk_26vol-01 rootdisk_2 140520383 1129536 0 c1t0d0   ENA
pl rootdisk_26vol-02 rootdisk_26vol DISABLED NODEVICE 1129536 CONCAT -     RW
sd rootmirr_2-03 rootdisk_26vol-02 rootmirr_2 119547648 1129536 0 -        NDEV

v  rootvol      -            ENABLED  ACTIVE   85987200 ROUND     -        root
pl rootvol-01   rootvol      ENABLED  ACTIVE   85987200 CONCAT    -        RW
sd rootdisk_2-B0 rootvol-01  rootdisk_2 143339135 1     0         c1t0d0   ENA
sd rootdisk_2-02 rootvol-01  rootdisk_2 0      85987199 1         c1t0d0   ENA
pl rootvol-02   rootvol      DISABLED NODEVICE 85987200 CONCAT    -        RW
sd rootmirr_2-01 rootvol-02  rootmirr_2 0      85987200 0         -        RLOC

v  swapvol      -            ENABLED  ACTIVE   33560448 ROUND     -        swap
pl swapvol-01   swapvol      ENABLED  ACTIVE   33560448 CONCAT    -        RW
sd rootdisk_2-01 swapvol-01  rootdisk_2 85987199 33560448 0       c1t0d0   ENA
pl swapvol-02   swapvol      DISABLED NODEVICE 33560448 CONCAT    -        RW
sd rootmirr_2-02 swapvol-02  rootmirr_2 85987200 33560448 0       -        NDEV

Disk group: bak2dg

DG NAME         NCONFIG      NLOG     MINORS   GROUP-ID
DM NAME         DEVICE       TYPE     PRIVLEN  PUBLEN   STATE
RV NAME         RLINK_CNT    KSTATE   STATE    PRIMARY  DATAVOLS  SRL
RL NAME         RVG          KSTATE   STATE    REM_HOST REM_DG    REM_RLNK
V  NAME         RVG          KSTATE   STATE    LENGTH   READPOL   PREFPLEX UTYPE
PL NAME         VOLUME       KSTATE   STATE    LENGTH   LAYOUT    NCOL/WID MODE
SD NAME         PLEX         DISK     DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
SV NAME         PLEX         VOLNAME  NVOLLAYR LENGTH   [COL/]OFF AM/NM    MODE
DC NAME         PARENTVOL    LOGVOL
SP NAME         SNAPVOL      DCO

dg bak2dg       default      default  57000    1070418113.1171.m2000svr2

dm bak2dg1      c1t2d0s2     sliced   10175    143328960 -
dm bak2dg2      c1t3d0s2     sliced   10175    143328960 -
dm bak2dg3      c1t4d0s2     sliced   10175    143328960 -
dm bak2dg4      c1t5d0s2     sliced   10175    143328960 -

v  bakvol       -            ENABLED  ACTIVE   286656512 SELECT   -        fsgen
pl bakvol-01    bakvol       ENABLED  ACTIVE   286657984 STRIPE   2/128    RW
sd bak2dg1-01   bakvol-01    bak2dg1  0        143328960 0/0      c1t2d0   ENA
sd bak2dg2-01   bakvol-01    bak2dg2  0        143328960 1/0      c1t3d0   ENA
pl bakvol-02    bakvol       ENABLED  ACTIVE   286657984 STRIPE   2/128    RW
sd bak2dg3-01   bakvol-02    bak2dg3  0        143328960 0/0      c1t4d0   ENA
sd bak2dg4-01   bakvol-02    bak2dg4  0        143328960 1/0      c1t5d0   ENA

Disk group: m2000dg

DG NAME         NCONFIG      NLOG     MINORS   GROUP-ID
DM NAME         DEVICE       TYPE     PRIVLEN  PUBLEN   STATE
RV NAME         RLINK_CNT    KSTATE   STATE    PRIMARY  DATAVOLS  SRL
RL NAME         RVG          KSTATE   STATE    REM_HOST REM_DG    REM_RLNK
V  NAME         RVG          KSTATE   STATE    LENGTH   READPOL   PREFPLEX UTYPE
PL NAME         VOLUME       KSTATE   STATE    LENGTH   LAYOUT    NCOL/WID MODE
SD NAME         PLEX         DISK     DISKOFFS LENGTH   [COL/]OFF DEVICE   MODE
SV NAME         PLEX         VOLNAME  NVOLLAYR LENGTH   [COL/]OFF AM/NM    MODE
DC NAME         PARENTVOL    LOGVOL
SP NAME         SNAPVOL      DCO

dg m2000dg      default      default  117000   1070416277.1140.m2000svr1

dm m2000dg1     c3t1d1s2     sliced   8127     282187904 -
dm m2000dg2     -            -        -        -        NODEVICE

v  data         -            ENABLED  ACTIVE   67108864 SELECT    -        gen
pl data-01      data         ENABLED  ACTIVE   67112896 CONCAT    -        RW
sd m2000dg1-04  data-01      m2000dg1 145491200 67112896 0        c3t1d1   ENA
pl data-02      data         DISABLED NODEVICE 67112896 CONCAT    -        WO
sd m2000dg2-03  data-02      m2000dg2 2877312  67112896 0         -        NDEV

v  fsdata       -            ENABLED  ACTIVE   142606336 SELECT   -        fsgen
pl fsdata-01    fsdata       ENABLED  ACTIVE   142613888 CONCAT   -        RW
sd m2000dg1-01  fsdata-01    m2000dg1 0        142613888 0        c3t1d1   ENA
pl fsdata-02    fsdata       DISABLED NODEVICE 142613888 CONCAT   -        WO
sd m2000dg2-04  fsdata-02    m2000dg2 69990208 142613888 0        -        NDEV

v  log          -            ENABLED  ACTIVE   67108864 SELECT    -        gen
pl log-01       log          ENABLED  ACTIVE   67112896 CONCAT    -        RW
sd m2000dg1-05  log-01       m2000dg1 212604096 67112896 0        c3t1d1   ENA
pl log-02       log          DISABLED NODEVICE 67112896 CONCAT    -        WO
sd m2000dg2-05  log-02       m2000dg2 212604096 67112896 0        -        NDEV

v  master       -            ENABLED  ACTIVE   2457600  SELECT    -        gen
pl master-01    master       ENABLED  ACTIVE   2462784  CONCAT    -        RW
sd m2000dg1-02  master-01    m2000dg1 142613888 2462784 0         c3t1d1   ENA
pl master-02    master       DISABLED NODEVICE 2462784  CONCAT    -        WO
sd m2000dg2-01  master-02    m2000dg2 0        2462784  0         -        NDEV

v  sysproc      -            ENABLED  ACTIVE   409600   SELECT    -        gen
pl sysproc-01   sysproc      ENABLED  ACTIVE   414528   CONCAT    -        RW
sd m2000dg1-03  sysproc-01   m2000dg1 145076672 414528  0         c3t1d1   ENA
pl sysproc-02   sysproc      DISABLED NODEVICE 414528   CONCAT    -        WO
sd m2000dg2-02  sysproc-02   m2000dg2 2462784  414528   0         -        NDEV
root@m2000svr2 # df -k
Filesystem            kbytes    used   avail capacity  Mounted on
/dev/vx/dsk/rootvol  42344610 5196320 36724844    13%    /
/proc                      0       0       0     0%    /proc
fd                         0       0       0     0%    /dev/fd
mnttab                     0       0       0     0%    /etc/mnttab
swap                 20517664     144 20517520     1%    /var/run
swap                 20518504     984 20517520     1%    /tmp
/dev/vx/dsk/opt      10327372  213253 10010846     3%    /opt
/dev/vx/dsk/node@1    531263    3718  474419     1%    /global/.devices/node@1
/dev/vx/dsk/rootdisk_26vol
                      531263    3718  474419     1%    /global/.devices/node@2
/dev/vx/dsk/bak2dg/bakvol
                     141088307       9 139677415     1%    /var/backup
/dev/vx/dsk/m2000dg/fsdata
                     70188281 22454044 47032355    33%    /export/home

hlhl2003

现在要换第一台机器上的c1t3d0，换完后，再把资源切到第一台设备上，换第二台设备的C1t1d0，现在的问题是，资源在第二台设备上，但第二台设备只能看到两个阵列中的一个，数据肯定不同步，切资源之后，第一台设备接管磁盘，它可以看到两个阵列，发现数据不一致后，它会自动同步吗？

hlhl2003

没人回？

东方蜘蛛

1.第一个节点的bak1dg是本地硬盘做的0+1的卷，其中一个c1t3d0坏了，可以直接换，用vxdiskadm选4选5的方法。
2.第二个节点的bak2dg是本地硬盘做的0+1的卷，正常。
3.以上2个dg都是本地用来做备份的吧？！
4.第二个节点的系统镜像盘故障，可以直接换。
5.m2000dg中有个磁盘c2t0d1磁盘有问题，难道系统认不到了？请检查盘阵端卷的状态及map状态。
6.以上换盘操作都可以不用做切换，共享盘阵的磁盘状态有些异常，需要仔细检查。

hlhl2003

首先谢谢蜘蛛大哥，第二个节点上的共享磁盘只能看一个阵列（format下只能看到一个阵列），第一个节点都能看到，所以现在用户想切回正常的第一个节点上，准备重启第二个节点，在OK下查看一下两个阵列的状态，只是现在切到第一个节点，由于两个阵列的数据不同步，会出现什么现象？

hlhl2003

晚上要解决，再顶一下！