求助关于sun cluster切换磁盘失败的问题

collick

测试换使用vmware workstation创建：
1、分别2个节点node1，node2
2、创建了共享磁盘分别为512M、1G、2G，将d2指定为quorum盘
root@node1#scdidadm -L
1        node1:/dev/rdsk/c1t0d0         /dev/did/rdsk/d1     
2        node1:/dev/rdsk/c1t1d0         /dev/did/rdsk/d2     
2        node2:/dev/rdsk/c1t1d0         /dev/did/rdsk/d2     
3        node1:/dev/rdsk/c1t2d0         /dev/did/rdsk/d3     
3        node2:/dev/rdsk/c1t2d0         /dev/did/rdsk/d3     
4        node1:/dev/rdsk/c1t3d0         /dev/did/rdsk/d4     
4        node2:/dev/rdsk/c1t3d0         /dev/did/rdsk/d4     
5        node2:/dev/rdsk/c1t0d0         /dev/did/rdsk/d5

root@node2#scdidadm -L
1        node1:/dev/rdsk/c1t0d0         /dev/did/rdsk/d1     
2        node1:/dev/rdsk/c1t1d0         /dev/did/rdsk/d2     
2        node2:/dev/rdsk/c1t1d0         /dev/did/rdsk/d2     
3        node1:/dev/rdsk/c1t2d0         /dev/did/rdsk/d3     
3        node2:/dev/rdsk/c1t2d0         /dev/did/rdsk/d3     
4        node1:/dev/rdsk/c1t3d0         /dev/did/rdsk/d4     
4        node2:/dev/rdsk/c1t3d0         /dev/did/rdsk/d4     
5        node2:/dev/rdsk/c1t0d0         /dev/did/rdsk/d5     

3、创建了diskset，名字为appdiskset，使用磁盘d3、d4
root@node1#metastat -s appdiskset
appdiskset/d100: Concat/Stripe
    Size: 4161536 blocks (2.0 GB)
    Stripe 0: (interlace: 32 blocks)
        Device   Start Block  Dbase     Reloc
        d3s0            0     No        Yes
        d4s0            0     No        Yes

Device Relocation Information:
Device   Reloc  Device ID
d3   Yes        id1,did@n6000c2926287a6e561e98d4d265f74dc
d4   Yes        id1,did@n6000c29d21b397657568cecc38cfda86

root@node1#metaset -s appdiskset -t
root@node1#metaset

Set name = appdiskset, Set number = 1

Host                Owner
  node1              Yes
  node2              

Driv Dbase

d3   Yes  

d4   Yes  

在node2上看不到node1获取了占有权
root@node2#metaset

Set name = appdiskset, Set number = 1

Host                Owner
  node1              
  node2              

Driv Dbase

d3   Yes  

d4   Yes  



4、使用scswitch -z -D appdiskset -h node2报错
root@node1#scswitch -z -D appdiskset -h node2
scswitch: node failed to become the primary

各位大大，我需要怎么操作？要收集什么日志？

collick

root@node1#scstat
------------------------------------------------------------------

-- Cluster Nodes --

                    Node name           Status
                    ---------           ------
  Cluster node:     node1               Online
  Cluster node:     node2               Online

------------------------------------------------------------------

-- Cluster Transport Paths --

                    Endpoint               Endpoint               Status
                    --------               --------               ------
  Transport path:   node1:e1000g3          node2:e1000g3          Path online
  Transport path:   node1:e1000g2          node2:e1000g2          Path online

------------------------------------------------------------------

-- Quorum Summary from latest node reconfiguration --

  Quorum votes possible:      3
  Quorum votes needed:        2
  Quorum votes present:       3


-- Quorum Votes by Node (current status) --

                    Node Name           Present Possible Status
                    ---------           ------- -------- ------
  Node votes:       node1               1        1       Online
  Node votes:       node2               1        1       Online


-- Quorum Votes by Device (current status) --

                    Device Name         Present Possible Status
                    -----------         ------- -------- ------
  Device votes:     /dev/did/rdsk/d2s2  1        1       Online

------------------------------------------------------------------

-- Device Group Servers --

                         Device Group        Primary             Secondary
                         ------------        -------             ---------
  Device group servers:  appdiskset          node1               node2


-- Device Group Status --

                              Device Group        Status              
                              ------------        ------              
  Device group status:        appdiskset          Online


-- Multi-owner Device Groups --

                              Device Group        Online Status
                              ------------        -------------

------------------------------------------------------------------
------------------------------------------------------------------

-- IPMP Groups --

              Node Name           Group   Status         Adapter   Status
              ---------           -----   ------         -------   ------
  IPMP Group: node1               sc_ipmp0 Online         e1000g0   Online

  IPMP Group: node2               sc_ipmp0 Online         e1000g0   Online


-- IPMP Groups in Zones --

              Zone Name           Group   Status         Adapter   Status
              ---------           -----   ------         -------   ------
------------------------------------------------------------------

collick

是用来 http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=1216104这个帖子中，关于虚拟机磁盘需要增加参数：
共享磁盘　要修改host 的vmx文件，添加disk.locking = "false"　scsi1.sharedBus = "virtual"　(7/30)
修改后可以使用
scswitch -z -D appdiskset -h node2命令进行切换，但是看不到所有权！

命令如下：
在节点node2上：
root@node2#metaset

Set name = appdiskset, Set number = 1

Host                Owner
  node1              
  node2              

Driv Dbase

d3   Yes  

d4   Yes  
root@node2#scswitch -z -D appdiskset -h node2
root@node2#metaset

Set name = appdiskset, Set number = 1

Host                Owner
  node1              
  node2              Yes

Driv Dbase

d3   Yes  

d4   Yes  

在节点node1上
root@node1#metaset

Set name = appdiskset, Set number = 1

Host                Owner
  node1              
  node2              

Driv Dbase

d3   Yes  

d4   Yes  

很奇怪！

znnnz

metaset -s diskset -M -a -h node1,node2

collick

回复 4# znnnz




    root@node2#metaset

Set name = appdiskset, Set number = 1

Host                Owner
  node1              
  node2              Yes

Driv Dbase

d3   Yes  

d4   Yes  

root@node2#metaset -s appdiskset -M -a -h node1,node2
metaset: -M option only allowed on multi-owner diskset
usage:  metaset -s setname -a [-A enable | disable] -h hostname ...
        metaset -s setname -a [-M] -h hostname ...
        metaset -s setname -a [-M] [-l length] [-L] drivename ...
        metaset -s setname -d [-M] -h hostname ...
        metaset -s setname -d [-M] -f -h all-hostnames
        metaset -s setname -d [-M] [-f] drivename ...
        metaset -s setname -d [-M] [-f] hostname ...
        metaset -s setname -A enable | disable
        metaset -s setname -t [-f]
        metaset -s setname -r
        metaset [-s setname] -j [-M]
        metaset [-s setname] -w [-M]
        metaset -s setname -P [-M]
        metaset -s setname -b [-M]
        metaset -s setname -o [-M] [-h hostname]
        metaset [-s setname]

                hostname = contents of /etc/nodename
                drivename = cNtNdN no slice
                [-M] for multi-owner set is optional except on set creation

znnnz

回复 5# collick


    你是虚拟机的话，把 -M 参数去掉。

collick

回复 6# znnnz

谢谢
我来测试一下！
   

collick

回复 6# znnnz


还是报错！！！
root@node1#metaset -s appdiskset -a -h node1,node2
metaset: node1,node2: metad 客户机创建: RPC: 未知的主机

   

collick

>>> 创建资源组 <<<

    此选项用于创建新的资源组。使用此选项还可以为新组创建新资源。

    资源组是可以在其中放置各种资源（例如网络资源和数据服务资源）的容器。群
    集使用资源组来管理其资源类型。资源组有两种类型：故障转移资源组和可缩放
    资源组。

    只有故障转移资源组才可能包含网络资源。网络资源可以是逻辑主机名资源，也
    可以是共享地址资源。

    一定要记住，每个可缩放资源组依赖于包含一个或多个共享地址网络资源的故障
    转移资源组。

    是否继续？ [是]  

    选择要添加的资源组的类型:

        1) Failover Group
        2) Scalable Group

    选项:  1

    要添加的组的名称是什么？  app1-rg

    是否要添加可选描述？ [是]  no

    因为此群集有两个节点，所以新资源组将被配置为由两个群集节点提供服务。

    此时，可以选择一个节点作为首选节点为此组提供服务。也可以允许系统任意选
    择首选节点。

    是否要指定首选节点？ [是]  

    选择要保存此组的首选节点或区域：

        1) node1
        2) node2

    选项:  1

    某些类型的资源（例如，用于 NFS 的 HA）需要在全局文件系统中使用一个区域
    来存储配置数据。如果要添加到此组的任何资源需要这种支持，则此时可以指定
    完整的目录路径名。

    是否立即指定这样的目录？ [否]  

    是否继续更新？ [是]  

scrgadm -a -g app1-rg -h node1,node2

    已成功完成命令。

   
按 Enter 键继续：  

    是否立即添加网络资源？ [是]  

    选择要添加的网络资源的类型:

        1) LogicalHostname
        2) SharedAddress

    选项:  1

    如果故障转移资源组包含逻辑主机名资源，则最常见的配置是每个子网有一个逻
    辑主机名资源。

    要创建多少 LogicalHostname 资源？ [1]  

    每个网络资源可以管理单个子网的一个或多个逻辑主机名的列表。无论资源是逻
    辑主机名类型还是共享地址类型，都同样适用。最常见的配置是为每个子网的每
    个网络资源指定单个逻辑主机名。因此，scsetup(1M) 仅支持此配置。如果需要
    支持给定子网的多个主机名，请使用 scrgadm(1M) 添加其他支持。

    必须在群集中每个节点上的 hosts(4) 文件中先指定主机名，scsetup(1M) 才能
    针对逻辑主机名创建网络资源。此外，所需的网络适配器必须对每个节点均可用
    。

    要添加的逻辑主机名是什么？  app1

    是否继续更新？ [是]  

scrgadm -a -L -g app1-rg -l app1
scrgadm -c -j app1 -y R_description="LogicalHostname resource for app1"

    已成功完成命令。

   
按 Enter 键继续：  

    是否要添加其他网络资源？ [否]  

    是否立即添加数据服务资源？ [是]  


    请选择要添加的资源类型:

           资源名称             描述                                       
           ========             ===========                                

        1) ORCL.TimesTen_active TimesTen db active service
        2) ORCL.TimesTen_clag   TimesTen cluster agent
        3) ORCL.TimesTen_cldaemon TimesTen cluster daemon
        4) ORCL.TimesTen_dbmon  TimesTen db monitor
        5) ORCL.TimesTen_server TimesTen server
        6) ORCL.TimesTen_standby TimesTen db standby service
        7) ORCL.ohs:2           Data service for the Oracle HTTP Server
         ORCL.opmn:2          Data service for the Oracle Process Managem ...
        9) ORCL.oracle_external_proxy Oracle External Proxy
       10) ORCL.repzfssa        Sun ZFS Storage Appliance control and monit ...

        n) 下一步 >

    选项:  n

    请选择要添加的资源类型:

           资源名称             描述                                       
           ========             ===========                                

       11) ORCL.sapcentr        SAP NetWeaver central services
       12) ORCL.sapdia          SAP NetWeaver dialogue services
       13) ORCL.saprepenq       SAP NetWeaver replicated enqueue service
       14) ORCL.saprepenq_preempt SAP NetWeaver replicated enqueue preempter
       15) ORCL.sapstartsrv     SAP NetWeaver sapstartsrv service
       16) SUNW.Event           HA Event server for Oracle Solaris Cluster
       17) SUNW.GeoCtlAVS       GeoCtlAVS server for Oracle Solaris Cluster
       1 SUNW.GeoCtlSRDF      GeoCtlSRDF server for Oracle Solaris Cluste ...
       19) SUNW.GeoCtlTC        Truecopy control and monitor for Oracle Sol ...
       20) SUNW.HAStoragePlus:10 HA Storage Plus

        p) < 上一个
        n) 下一步 >

    选项:  20

    你要添加的资源的名称是什么？  app1-name

    某些资源类型需要您设置特定的扩展属性。如果您需要为此资源的任何扩展属性
    设置非默认值，请指定所需要的值。您还必须为任何没有定义默认值的所需扩展
    属性指定值。对于可管理资源的每个节点或区域，一些属性值可接受的值也各不
    相同。有关您要添加的资源扩展属性的信息，请参见该资源类型的手册页。

    请查看您的数据服务的手册页，以了解有关与要添加的资源相关联的扩展属性的
    更多信息。

    是否要设置扩展属性？ [是]  

    请选择要设置的属性:

           属性名称                       默认设置           所需设置         
           =============                  ===============    ===============   

        1) GlobalDevicePaths              <NULL>
        2) FilesystemMountPoints          <NULL>
        3) AffinityOn                     True
        4) FilesystemCheckCommand         <NULL>
        5) Zpools                         <NULL>
        6) ZpoolsSearchDir                <NULL>
        7) Monitor_retry_count            4
         Monitor_retry_interval         2
        9) IOTimeout                      300
       10) IOOption                       ReadOnly

        n) 下一步 >
        q) 完成

    选项:  1

        属性名:  GlobalDevicePaths
        属性描述:  The list of HA global device paths
        属性类型:  stringarray
        每个节点的属性：  FALSE
        属性值:  /dev/md/appdiskset/dsk/d100   

    请选择要设置的属性:

           属性名称                       默认设置           所需设置         
           =============                  ===============    ===============   

        1) GlobalDevicePaths              <NULL>             /dev/md/appdiskset
        2) FilesystemMountPoints          <NULL>
        3) AffinityOn                     True
        4) FilesystemCheckCommand         <NULL>
        5) Zpools                         <NULL>
        6) ZpoolsSearchDir                <NULL>
        7) Monitor_retry_count            4
         Monitor_retry_interval         2
        9) IOTimeout                      300
       10) IOOption                       ReadOnly

        n) 下一步 >
        q) 完成

    选项:  2

        属性名:  FilesystemMountPoints
        属性描述:  The list of file system mountpoints
        属性类型:  stringarray
        每个节点的属性：  FALSE
        属性值:  /app1

    请选择要设置的属性:

           属性名称                       默认设置           所需设置         
           =============                  ===============    ===============   

        1) GlobalDevicePaths              <NULL>             /dev/md/appdiskset
        2) FilesystemMountPoints          <NULL>             /app1
        3) AffinityOn                     True
        4) FilesystemCheckCommand         <NULL>
        5) Zpools                         <NULL>
        6) ZpoolsSearchDir                <NULL>
        7) Monitor_retry_count            4
         Monitor_retry_interval         2
        9) IOTimeout                      300
       10) IOOption                       ReadOnly

        n) 下一步 >
        q) 完成

    选项:  q

    是否已设置属性？ [是]  


    以下是您要设置的扩展属性的列表:  

        GlobalDevicePaths=/dev/md/appdiskset/dsk/d100
        FilesystemMountPoints=/app1

    是否正确？ [是]  

    是否继续更新？ [是]  

scrgadm -a -j app1-name -g app1-rg -t SUNW.HAStoragePlus:10 -x GlobalDevicePaths=/dev/md/appdiskset/dsk/d100 -x FilesystemMountPoints=/app1
node1 - The entry in vfstab for mount point '/app1' has too few fields.
node1 - An error occurred while reading global zone /etc/vfstab file for filesystem m
ount point /app1.

(C189917) 资源组 app1-rg 中的资源 app1-name 上的验证操作以非零退出状态退出。
(C720144) 在节点 node1 上验证资源组 app1-rg 中的资源 app1-name 失败。

命令失败。

collick

root@node1#metaset -s appdiskset

设置名称 = appdiskset, 设置数量 = 1

主机                属主
  node1              是
  node2              

介体主机            别名   
  node1               
  node2               

驱动 Dbase

d3   是   


root@node2#metaset -s appdiskset

设置名称 = appdiskset, 设置数量 = 1

主机                属主
  node1              
  node2              

介体主机            别名   
  node1               
  node2               

驱动 Dbase

d3   是