配置SG时，报错，如何处理?

davidh2y

环境：hp unix IA 11.31，主机名 test4 /test5
1、配置共享存储：
test4:
pvcreate -f /dev/rdisk/disk36    --3G ，作为锁盘
pvcreate -f /dev/rdisk/disk37
mkdir /dev/dcracvg
mknod /dev/dcracvg/group c 64 0x060000
vgcreate /dev/dcracvg /dev/disk/disk36       /dev/disk/disk37   
lvcreate -L 150    -n raw_ora_ocr1_150m                             /dev/dcracvg            
lvcreate -L 150    -n raw_ora_ocr2_150m           /dev/dcracvg      
lvcreate -L 50    -n raw_ora_vote1_50m           /dev/dcracvg      
lvcreate -L 50    -n raw_ora_vote2_50m           /dev/dcracvg      
lvcreate -L 50    -n raw_ora_vote3_50m           /dev/dcracvg      
lvcreate -L 1024    -n raw_dc_system_1024m         /dev/dcracvg      
lvcreate -L 1024    -n raw_dc_sysaux_1024m         /dev/dcracvg      
lvcreate -L 2048    -n raw_dc_undotbs1_2048m_01    /dev/dcracvg      
lvcreate -L 2048    -n raw_dc_undotbs2_2048m_01    /dev/dcracvg      
lvcreate -L 5120    -n raw_dc_users_5120m         /dev/dcracvg      
lvcreate -L 512    -n raw_dc_redo01_512m          /dev/dcracvg      
lvcreate -L 512    -n raw_dc_redo02_512m          /dev/dcracvg      
lvcreate -L 512    -n raw_dc_redo03_512m          /dev/dcracvg      
lvcreate -L 512    -n raw_dc_redo04_512m          /dev/dcracvg      
lvcreate -L 512    -n raw_dc_redo05_512m          /dev/dcracvg      
lvcreate -L 512    -n raw_dc_redo06_512m          /dev/dcracvg      
lvcreate -L 128    -n raw_dc_control01_128m       /dev/dcracvg      
lvcreate -L 128    -n raw_dc_control02_128m       /dev/dcracvg      
lvcreate -L 128    -n raw_dc_control03_128m       /dev/dcracvg      
lvcreate -L 2048    -n raw_dc_temp_2048m_01        /dev/dcracvg      
lvcreate -L 2048    -n raw_dc_temp_2048m_02        /dev/dcracvg      
lvcreate -L 10    -n raw_dc_spfile_raw_10m       /dev/dcracvg         
lvcreate -L 10    -n raw_dc_pwdfile_10m          /dev/dcracvg   
导出 volume group
vgchange -a n /dev/dcracvg
vgexport -v -p -s -m /tmp/dcracvg.map /dev/dcracvg
rcp /tmp/dcracvg.map test5:/tmp/

test5:
mkdir /dev/dcracvg
mknod /dev/dcracvg/group c 64 0x060000
vgimport  -v -s -m /tmp/dcracvg.map -N /dev/dcracvg

所有节点：
vi /etc/lvmrc
AUTO_VG_ACTIVATE to 0
分配权限：
chmod 777 /dev/dcracvg
chmod 660 /dev/dcracvg/r*
chown oracleb:dba /dev/dcracvg/r*

chown rootinstall /dev/dcracvg/raw_ora_ocr1_150m
chown rootinstall /dev/dcracvg/raw_ora_ocr2_150m
chmod 640 /dev/dcracvg/raw_ora_ocr1_150m
chmod 640 /dev/dcracvg/raw_ora_ocr2_150m

所有节点：root:
vi .rhosts
test4 root
test5 root
test4-vip root
test5-vip root
test4-priv root
test5-priv root

vi /etc/cmcluster/cmclnodelist
test4 root
test5 root

vi /etc/inetd.conf
增加
hacl-probe  stream  tcp    nowait  root  /opt/cmom/lbin/cmomd /opt/cmom/lbin/cmomd -f /var/opt/cmom/cmomd.log -r /var/opt/cmom
hacl-cfg    dgram   udp    wait    root  /usr/lbin/cmclconfd cmclconfd -p
hacl-cfg    stream  tcp    nowait  root  /usr/lbin/cmclconfd cmclconfd -c

在test4：
root@test4:/>cmquerycl -n test4 -n test5 -v -C /etc/cmcluster/clusterdcrac.asc
Warning: Unable to determine local domain name for test4
check_cdsf_group, no cdsf group specified.
Looking for other clusters ... Done
Gathering storage information
Found 23 devices on node test4
Found 32 devices on node test5
Analysis of 55 devices should take approximately 7 seconds
0%----10%Error reading device /dev/disk/disk19 0x8
Error reading device /dev/disk/disk18 0x8
Error reading device /dev/disk/disk17 0x8
----20%----30%----40%----50%----60%----70%--Error reading device /dev/dsk/c4t1d0s1 0x8
Error reading device /dev/dsk/c4t1d0s2 0x8
Error reading device /dev/dsk/c4t1d0s3 0x8
--80%----90%----100%
Found 3 volume groups on node test4
Found 2 volume groups on node test5
Analysis of 5 volume groups should take approximately 1 seconds
0%----10%----20%----30%----40%----50%----60%----70%----80%----90%----100%
Note: Disks were discovered which are not in use by either LVM or VxVM.
      Use pvcreate(1M) to initialize a disk for LVM or,
      use vxdiskadm(1M) to initialize a disk for VxVM.
Gathering network information
Beginning network probing
Completed network probing

Node Names:    test4         
               test5         

Bridged networks (local node information only - full probing was not performed):

1       lan0           (test4)
        lan1           (test4)
        lan2           (test4)

2       lan0           (test5)
        lan1           (test5)
        lan2           (test5)

IP subnets:

IPv4:

172.16.3.0         lan0      (test4)
                   lan0      (test5)

10.10.10.0         lan1      (test4)
                   lan1      (test5)

IPv6:

Possible Heartbeat IPs:

IPv4:

172.16.3.0                        172.16.3.247        (test4)
                                  172.16.3.248        (test5)

10.10.10.0                        10.10.10.247        (test4)
                                  10.10.10.248        (test5)

IPv6:

Route Connectivity (local node information only - full probing was not performed):

IPv4:

1   172.16.3.0         

2   10.10.10.0         

Possible IP Monitor Subnets:

IPv4:

172.16.3.0         Polling Target 172.16.3.254      

IPv6:

Possible Cluster Lock Devices:

/dev/disk/disk36                        18 seconds

Note: all lock disks have the same failover time

LVM volume groups:

/dev/vg00               test4         

/dev/vg_dljj            test4         

/dev/dcracvg            test4         
                        test5         

/dev/vg00               test5         

LVM physical volumes:

/dev/vg00         
/dev/disk/disk20_p264000/0xfa00/0x0              test4              
/dev/disk/disk21   64000/0xfa00/0x1              test4              

/dev/vg_dljj      
/dev/disk/disk25   64000/0xfa00/0x5              test4              

/dev/dcracvg      
/dev/disk/disk36   64000/0xfa00/0x10             test4              
/dev/disk/disk37   64000/0xfa00/0x11             test4              

/dev/disk/disk36   64000/0xfa00/0x21             test5              
/dev/disk/disk37   64000/0xfa00/0x22             test5              

/dev/vg00         
/dev/disk/disk11_p264000/0xfa00/0x1a             test5              

LVM logical volumes:

Volume groups on test4:
/dev/vg00/lvol1                           FS MOUNTED   /stand
/dev/vg00/lvol2                                       
/dev/vg00/lvol3                           FS MOUNTED   /
/dev/vg00/lvol4                           FS MOUNTED   /tmp
/dev/vg00/lvol5                           FS MOUNTED   /home
/dev/vg00/lvol6                           FS MOUNTED   /opt
/dev/vg00/lvol7                           FS MOUNTED   /usr
/dev/vg00/lvol8                           FS MOUNTED   /var
/dev/vg00/lvfs_oracle11                   FS MOUNTED   /oracle
/dev/vg00/lvfs_bea                        FS MOUNTED   /bea
/dev/vg00/lvfs_arch                       FS MOUNTED   /oracle10
/dev/vg_dljj/lvfs_dljj                                 
/dev/dcracvg/raw_ora_ocr1_150m                        
/dev/dcracvg/raw_ora_ocr2_150m                        
/dev/dcracvg/raw_ora_vote1_50m                        
/dev/dcracvg/raw_ora_vote2_50m                        
/dev/dcracvg/raw_ora_vote3_50m                        
/dev/dcracvg/raw_dc_system_1024m                       
/dev/dcracvg/raw_dc_sysaux_1024m                       
/dev/dcracvg/raw_dc_undotbs1_2048m_01                  
/dev/dcracvg/raw_dc_undotbs2_2048m_01                  
/dev/dcracvg/raw_dc_users_5120m                        
/dev/dcracvg/raw_dc_redo01_512m                        
/dev/dcracvg/raw_dc_redo02_512m                        
/dev/dcracvg/raw_dc_redo03_512m                        
/dev/dcracvg/raw_dc_redo04_512m                        
/dev/dcracvg/raw_dc_redo05_512m                        
/dev/dcracvg/raw_dc_redo06_512m                        
/dev/dcracvg/raw_dc_control01_128m                     
/dev/dcracvg/raw_dc_control02_128m                     
/dev/dcracvg/raw_dc_control03_128m                     
/dev/dcracvg/raw_dc_temp_2048m_01                     
/dev/dcracvg/raw_dc_temp_2048m_02                     
/dev/dcracvg/raw_dc_spfile_raw_10m                     
/dev/dcracvg/raw_dc_pwdfile_10m                        

Volume groups on test5:
/dev/vg00/lvfs_arch                       FS MOUNTED   /oracle10
/dev/vg00/lvfs_bea                        FS MOUNTED   /bea
/dev/vg00/lvfs_oracle11                   FS MOUNTED   /oracle
/dev/vg00/lvol1                           FS MOUNTED   /stand
/dev/vg00/lvol2                                       
/dev/vg00/lvol3                           FS MOUNTED   /
/dev/vg00/lvol4                           FS MOUNTED   /tmp
/dev/vg00/lvol5                           FS MOUNTED   /home
/dev/vg00/lvol6                           FS MOUNTED   /opt
/dev/vg00/lvol7                           FS MOUNTED   /usr
/dev/vg00/lvol8                           FS MOUNTED   /var
/dev/dcracvg/raw_ora_ocr1_150m                        
/dev/dcracvg/raw_ora_ocr2_150m                        
/dev/dcracvg/raw_ora_vote1_50m                        
/dev/dcracvg/raw_ora_vote2_50m                        
/dev/dcracvg/raw_ora_vote3_50m                        
/dev/dcracvg/raw_dc_system_1024m                       
/dev/dcracvg/raw_dc_sysaux_1024m                       
/dev/dcracvg/raw_dc_undotbs1_2048m_01                  
/dev/dcracvg/raw_dc_undotbs2_2048m_01                  
/dev/dcracvg/raw_dc_users_5120m                        
/dev/dcracvg/raw_dc_redo01_512m                        
/dev/dcracvg/raw_dc_redo02_512m                        
/dev/dcracvg/raw_dc_redo03_512m                        
/dev/dcracvg/raw_dc_redo04_512m                        
/dev/dcracvg/raw_dc_redo05_512m                        
/dev/dcracvg/raw_dc_redo06_512m                        
/dev/dcracvg/raw_dc_control01_128m                     
/dev/dcracvg/raw_dc_control02_128m                     
/dev/dcracvg/raw_dc_control03_128m                     
/dev/dcracvg/raw_dc_temp_2048m_01                     
/dev/dcracvg/raw_dc_temp_2048m_02                     
/dev/dcracvg/raw_dc_spfile_raw_10m                     
/dev/dcracvg/raw_dc_pwdfile_10m                        

Writing cluster data to /etc/cmcluster/clusterdcrac.asc.
root@test4:/>
root@test4:/etc/cmcluster> vgchange -a y /dev/dcracvg
Activated volume group.
Volume group "/dev/dcracvg" has been successfully changed.
root@test4:/etc/cmcluster>cmapplyconf -v -C /etc/cmcluster/clusterdcrac.asc
Begin cluster verification...
Checking cluster file: /etc/cmcluster/clusterdcrac.asc
check_cdsf_group, no cdsf group specified.
Checking nodes ... Done
Checking existing configuration ... Done
Gathering storage information
Found 5 devices on node test4
Found 3 devices on node test5
Analysis of 8 devices should take approximately 2 seconds
0%----10%----20%----30%----40%----50%----60%----70%----80%----90%----100%
Found 3 volume groups on node test4
Found 2 volume groups on node test5
Analysis of 5 volume groups should take approximately 1 seconds
0%----10%----20%----30%----40%----50%----60%----70%----80%----90%----100%
Gathering network information
Beginning network probing (this may take a while)
Completed network probing
Begin file consistency checking
WARNING: File /etc/cmcluster/cmclfiles2check does not exist.  Not performing file consistency checks
Maximum configured packages parameter is 300.
Configuring 0 package(s).
Creating the cluster configuration for cluster dcraccluster1
Adding node test4 to cluster dcraccluster1
Adding node test5 to cluster dcraccluster1
Marking/unmarking volume groups for use in the cluster
Completed the cluster creation

root@test4:/etc/cmcluster>cmruncl -v
cmruncl: Validating network configuration...
Gathering network information
Beginning network probing (this may take a while)
Completed network probing
cmruncl: Network validation complete
cmruncl: Validating cluster lock disk .... Done
Waiting for cluster to form ............................................................................................................................................................................................................ timed out
No packages are re-attached.
Check the syslog files for information.
cmruncl failed: timed out waiting for cluster to form

最终配置出错。

lbseraph

SG安装后打过最新的补丁了没？先打最新的SG补丁再试，若还有问题就要查对应的日志了(syslog.log等)~

zhang_tomorrow

MC/SG只需要2个日志：
syslog.log和pkg.ctl.log

davidh2y

由于我对SG是首次接触，很多不熟，还请各位多加指点，谢谢！

zhang_tomorrow:
  pkg.ctl.log这个日志文件找不到啊，我真个硬盘都搜了，没有。
  2个节点的syslog.log文件我上传了，能帮忙看下，问题在哪里吗？

fruitmantis

两个节点的共享卷组去激活了吗，另外进cluster.ascii文件看看锁盘信息是否正确，日志看到仲裁信息有问题，最好把cluster.ascii文件发上来看看

lbseraph

连package都还没有创建，当然就不会有pkg.ctl.log了。

锁盘没问题，检查两个节点是否没有文件/etc/cmcluster/cmknowncmds？没的话手工创建一下吧，如下：

# ll cmknowncmds
-r--------   1 bin        bin            118 Oct 22  2009 cmknowncmds

# cat cmknowncmds
# This file is required by Serviceguard.  Do not modify or remove it.
CMDISKLOCKCHECK $SGSBIN/cmdisklockcheck MONITOR

davidh2y

test4：在成功执行
cmquerycl -n test4 -n test5 -v -C /etc/cmcluster/clusterdcrac.asc
cmcheckconf -v -C /etc/cmcluster/clusterdcrac.asc
cmapplyconf -v -C /etc/cmcluster/clusterdcrac.asc 后，
当在节点test4使用vgchange -a y /dev/dcracvg会报错：
root@test4:/etc/cmcluster>vgchange -a y /dev/dcracvg
Volume group "/dev/dcracvg" is already active in requested mode.
vgchange: Activation mode requested for the volume group "/dev/dcracvg" conflicts with configured mode.
在节点test5也是一样：
root@test5:/etc/cmcluster>vgchange -a y /dev/dcracvg
vgchange: Activation mode requested for the volume group "/dev/dcracvg" conflicts with configured mode.


另外检查了没有 cmknowncmds这个文件，2节点手工编辑如下：
root@test5:/etc/cmcluster>ll  cmknowncmds
-r--------   1 bin        bin            118 Mar 28 11:14 cmknowncmds
root@test5:/etc/cmcluster>cat  cmknowncmds
# This file is required by Serviceguard.  Do not modify or remove it.
CMDISKLOCKCHECK $SGSBIN/cmdisklockcheck MONITOR


配置文件clusterdcrac.asc已经上传了，帮忙看下，谢了。

lbseraph

看了眼，如果你的/dev/dcracvg有用在锁盘的话，应该放在VOLUME_GROUP吧（目前是OPS_VOLUME_GROUP）。为什么不单独建一个锁盘group？分个1GB的LUN就可以了。

davidh2y

锁盘和数据盘放到同一vg应该也是可以的，锁盘不存任何数据，只是一个voting disk而已。
哪位可提供详细的SG配置文档，谢谢。

lbseraph

锁盘是可以放在数据盘上没错，问题是定义dcracvg的group不一样。如果dcracvg有锁盘，应该定义在VOLUME_GROUP而不是OPS_VOLUME_GROUP。看看cluster配置文件吧，这两种group的active参数都不一样的。