请教cluster3.2共享磁盘的文件系统mount问题

honggaoyan

根据  实录:solaris 10+sun cluster 3.2+svm+smf+scalable apache2
http://bbs2.chinaunix.net/viewth ... 3Ddigest&page=1
这篇帖子做的


在node1上操作如下操作，为什么在node2上mount 不成功？
node1:
metaset -s wedds -a -h v4801 v4802
metaset -s wedds -a /dev/did/rdsk/d6 /dev/did/rdsk/d9
metainit -s wedds d100 1 2 /dev/did/rdsk/d6s0 /dev/did/rdsk/d9s0
metainit -s wedds d101 -p d100 1g
newfs /dev/md/wedds/rdsk/d101
mount /d101(成功)
umount /d101

两台机器都修改/etc fstab      添加一行
/dev/md/wedds/dsk/d101  /dev/md/wedds/rdsk/d101 /d101   ufs     2 no    global,logging
node2:
# mount /d101
mount: /dev/md/wedds/dsk/d101 or /d101, no such file or directory

后来我接着在v4801上接着做，做到下面这步，做不下去了

bash-3.00# scrgadm -a -g apacherg -j web-stor -t SUNW.HAStoragePlus -x FilesystemMountPoints=/d101
v4802:global - Failed to analyze the device file /dev/md/wedds/dsk/d101: No such file or directory.
v4802:global - Failed to obtain the global service name of device /dev/md/wedds/dsk/d101 for mount point /d101.

(C189917) VALIDATE on resource web-stor, resource group apacherg, exited with non-zero exit status.
(C720144) Validation of resource web-stor in resource group apacherg on node v4802 failed.

这个星期我已推倒重做了三遍，都卡在这儿，到底是什么原因呢

bash-3.00# format
Searching for disks...done


AVAILABLE DISK SELECTIONS:
       0. c1t0d0 <SUN72G cyl 14087 alt 2 hd 24 sec 424>
          /pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w2100000c50806821,0
       1. c1t1d0 <SUN72G cyl 14087 alt 2 hd 24 sec 424>
          /pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w2100000c508084a9,0
       2. c4t200500A0B8174AC6d0 <IBM-1722-600-0610 cyl 10238 alt 2 hd 64 sec 64>
          /pci@8,700000/fibre-channel@4/fp@0,0/ssd@w200500a0b8174ac6,0
       3. c4t200500A0B8174AC6d1 <IBM-1722-600-0610 cyl 10238 alt 2 hd 64 sec 64>
          /pci@8,700000/fibre-channel@4/fp@0,0/ssd@w200500a0b8174ac6,1
       4. c4t200500A0B8174AC6d2 <IBM-1722-600-0610 cyl 10238 alt 2 hd 64 sec 64>
          /pci@8,700000/fibre-channel@4/fp@0,0/ssd@w200500a0b8174ac6,2
       5. c4t200500A0B8174AC6d3 <IBM-1722-600-0610 cyl 10238 alt 2 hd 64 sec 64>
          /pci@8,700000/fibre-channel@4/fp@0,0/ssd@w200500a0b8174ac6,3
       6. c4t200500A0B8174AC6d4 <IBM-1722-600-0610 cyl 10238 alt 2 hd 64 sec 64>
          /pci@8,700000/fibre-channel@4/fp@0,0/ssd@w200500a0b8174ac6,4
       7. c4t200500A0B8174AC6d5 <IBM-1722-600-0610 cyl 10238 alt 2 hd 64 sec 64>
          /pci@8,700000/fibre-channel@4/fp@0,0/ssd@w200500a0b8174ac6,5
       8. c4t200500A0B8174AC6d6 <IBM-1722-600-0610 cyl 8052 alt 2 hd 64 sec 64>
          /pci@8,700000/fibre-channel@4/fp@0,0/ssd@w200500a0b8174ac6,6

bash-3.00# scdidadm -L
1        v4801:/dev/rdsk/c0t0d0         /dev/did/rdsk/d1
2        v4801:/dev/rdsk/c1t0d0         /dev/did/rdsk/d2
3        v4801:/dev/rdsk/c1t1d0         /dev/did/rdsk/d3
4        v4801:/dev/rdsk/c4t200500A0B8174AC6d4 /dev/did/rdsk/d4
4        v4802:/dev/rdsk/c3t200500A0B8174AC6d4 /dev/did/rdsk/d4
5        v4801:/dev/rdsk/c4t200500A0B8174AC6d3 /dev/did/rdsk/d5
5        v4802:/dev/rdsk/c3t200500A0B8174AC6d3 /dev/did/rdsk/d5
6        v4801:/dev/rdsk/c4t200500A0B8174AC6d2 /dev/did/rdsk/d6
6        v4802:/dev/rdsk/c3t200500A0B8174AC6d2 /dev/did/rdsk/d6
7        v4801:/dev/rdsk/c4t200500A0B8174AC6d1 /dev/did/rdsk/d7
7        v4802:/dev/rdsk/c3t200500A0B8174AC6d1 /dev/did/rdsk/d7
8        v4801:/dev/rdsk/c4t200500A0B8174AC6d0 /dev/did/rdsk/d8
8        v4802:/dev/rdsk/c3t200500A0B8174AC6d0 /dev/did/rdsk/d8
9        v4801:/dev/rdsk/c4t200500A0B8174AC6d6 /dev/did/rdsk/d9
9        v4802:/dev/rdsk/c3t200500A0B8174AC6d6 /dev/did/rdsk/d9
10       v4801:/dev/rdsk/c4t200500A0B8174AC6d5 /dev/did/rdsk/d10
10       v4802:/dev/rdsk/c3t200500A0B8174AC6d5 /dev/did/rdsk/d10
11       v4802:/dev/rdsk/c0t0d0         /dev/did/rdsk/d11
12       v4802:/dev/rdsk/c1t1d0         /dev/did/rdsk/d12
13       v4802:/dev/rdsk/c1t0d0         /dev/did/rdsk/d13
bash-3.00#

[ 本帖最后由 honggaoyan 于 2009-4-25 13:22 编辑 ]

小鹭

wedds 在sun cluster 上注册了吗？
clstat 执行看看

honggaoyan

wedds 在sun cluster 要注册什么？

是这个吗？scrgadm -a -g apacherg -j web-stor -t SUNW.HAStoragePlus -x FilesystemMountPoints=/d101

是不是设备名不一样的缘故？
9        v4801:/dev/rdsk/c4t200500A0B8174AC6d6 /dev/did/rdsk/d9
9        v4802:/dev/rdsk/c3t200500A0B8174AC6d6 /dev/did/rdsk/d9

一个c3 一个c4

[ 本帖最后由 honggaoyan 于 2009-4-26 00:17 编辑 ]

小鹭

cldevicegroup list
cldevice show

dg不在cluster 里管理是不行的。

honggaoyan

bash-3.00# cldevicegroup list
webds
bash-3.00# cldevice show

=== DID Device Instances ===

DID Device Name:                                /dev/did/rdsk/d1
  Full Device Path:                                v4802:/dev/rdsk/c0t0d0
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d2
  Full Device Path:                                v4802:/dev/rdsk/c1t0d0
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d3
  Full Device Path:                                v4802:/dev/rdsk/c1t1d0
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d4
  Full Device Path:                                v4801:/dev/rdsk/c4t200500A0B8174AC6d6
  Full Device Path:                                v4802:/dev/rdsk/c3t200500A0B8174AC6d6
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d5
  Full Device Path:                                v4801:/dev/rdsk/c4t200500A0B8174AC6d5
  Full Device Path:                                v4802:/dev/rdsk/c3t200500A0B8174AC6d5
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d6
  Full Device Path:                                v4801:/dev/rdsk/c4t200500A0B8174AC6d4
  Full Device Path:                                v4802:/dev/rdsk/c3t200500A0B8174AC6d4
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d7
  Full Device Path:                                v4801:/dev/rdsk/c4t200500A0B8174AC6d3
  Full Device Path:                                v4802:/dev/rdsk/c3t200500A0B8174AC6d3
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d8
  Full Device Path:                                v4801:/dev/rdsk/c4t200500A0B8174AC6d2
  Full Device Path:                                v4802:/dev/rdsk/c3t200500A0B8174AC6d2
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d9
  Full Device Path:                                v4801:/dev/rdsk/c4t200500A0B8174AC6d1
  Full Device Path:                                v4802:/dev/rdsk/c3t200500A0B8174AC6d1
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d10
  Full Device Path:                                v4801:/dev/rdsk/c4t200500A0B8174AC6d0
  Full Device Path:                                v4802:/dev/rdsk/c3t200500A0B8174AC6d0
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d11
  Full Device Path:                                v4801:/dev/rdsk/c0t0d0
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d12
  Full Device Path:                                v4801:/dev/rdsk/c1t0d0
  Replication:                                     none
  default_fencing:                                 global

DID Device Name:                                /dev/did/rdsk/d13
  Full Device Path:                                v4801:/dev/rdsk/c1t1d0
  Replication:                                     none
  default_fencing:                                 global

honggaoyan

怎么把磁盘阵列的设备名改成一样的？

小鹭

加个参数试试
HAStoragePlus 对应的是磁盘资源，只指定mount point是不行，需要另外关联 dataset.

-x GlobalDevicePaths=wedds

只有这样切换时候，dataset 一起切过去。

xiazhen9842

兄弟，你是新手吧，做的方式就是错的。所以你做多少遍都不行的。


我给你讲一下吧。

SUN CLUSTER对共离享磁盘管理有三种方式。

1。通过SVM。这种方式，只要你安装SC的SVM资源类型就可了，

    它的设备要用。/DEV/MD/DSK/*

2。通过VXVM，这种方式，也要你安装SC的CVM资源类型。

      它的设备要用，/DEV/VX/DSK/*

3。就是什么管理软件都不用。就是你这种方式。


      它的设备要用，/DEV/GLOBAL/DSK/*

  这我只是大概的说一下，当然也是特不详细。你要想更清楚的了解的话。

我建议你去DOC。SUN。COM上下一些文档看一下吧。

zyl555

你做的基本是对的，只不过第二个节点没有初始化过卷，所以提示找不到很正常的。
按照官方的步骤应该这么来：
1、v4801上
metaset -s wedds -a -h v4801 v4802
metaset -s wedds -a /dev/did/rdsk/d6 /dev/did/rdsk/d9
2、在两个节点上，创建具有以下条目的/etc/lvm/md.tab 文件
wedds/d100 1 2 /dev/did/rdsk/d6s0 /dev/did/rdsk/d9s0
wedds/d101 -p wedds/d100 1G
3、在v4801上
# cldevicegroup switch -n v4801 wedds
# metainit -s wedds -a
4、在v4801上
# newfs /dev/md/wedds/rdsk/d101
5、在两个节点上
# mkdir -p /global/apache
6、在两个节点上，vfstab
/dev/md/wedds/dsk/d101 /dev/md/wedds/rdsk/d101 /global/apache ufs 2 yes global,logging
7、在v4801上
# cluster check
不报错就ok了。
8、在v4801上
# mount
9、两台机器检查一下就可以了。

[ 本帖最后由 zyl555 于 2009-4-27 14:43 编辑 ]

inhell

是不是有bug？