[原创]SUN 6120阵列安装实战记录-分析、规划、操作、思路全奉献

Philmoon

Sun 6120(单机箱)安装实战

1.        配置情况
SE 6120阵列1台，单个机箱，带1个RAID控制器，配14块73G硬盘。主机为老机器SUN E5500，Solaris 8 02/02。

2.        安装要求
阵列与主机HBA卡相连，空间划分为2个逻辑卷，分别提供给2个不同的数据库使用。DBA（数据库管理员）要求按下面的方式划分为指定大小的数据库裸设备卷：
ORACLE的空间划分（RAID 5，做成裸设备）：
   12个2G
     8个8G
   16个16G
     4个32G

SYBASE的空间划分（RAID 0+1，做成裸设备）：
   60个2GB

3.        分析
6120的1个机箱内最多可做成2个不同RAID形式的逻辑卷，可以满足DBA两个数据库设备卷不同RAID形式的要求；
6120的1个机箱内最多可作成64个卷片（volslice），每个片影射为1个LUN，对主机而言相当于1个磁盘设备。但DBA要求划分的数据库设备数量显然已经超过了这个限制，因此不能采用6120的volslice划分方法。解决的方法是在主机上用Veritas Volume Manager（简称VxVM）把主机识别到的阵列空间划分成逻辑卷（Volume）后提供数据库使用。（现有VxVM 3.1，它的卷数量理论上应该是有最大数量限制的，不记得了，但肯定大大超过这里要求的数据库设备个数，OK！）

4.        RAID的实现
6120控制器和VxVM都可以实现RAID。由于6120控制器在低层，而且采用硬件实现RAID，因此要求的RAID 5、0+1应在这一层次实现。VxVM主要实现本次要求的100个卷的划分，不必再做RAID。

5.        主要工作
6120配置、主机HBA卡安装、主机联6120、VxVM卷划分

6.        6120配置
做6120先。因为做RAID包括在这部分工作中，这是很花时间的一步。做RAID的同时偶可以做主机HBA卡的安装。因此两者的连接工作放到第三步去，前面工作中两者就相互不影响了。

6120初始配置：管理网口IP与root口令。6120可以通过串口或管理网口进行配置。在未配（或不知道）管理网口IP的情况下，只能通过串口上去。不过我用的是RARP方法，因为旁边就有间一台SUN E5500，而且6120上rarp缺省状态是on的。

1)        检查6120电源开关为off，用交叉网线连接6120的管理网口与E5500网口（空闲）;
2)        ifconfig 这个空闲网口为192.168.1.55;
3)        记下6120管理网口的MAC地址（假定为00:11:22:33:44:55，在6120的PP上）;
4)        E5500上vi /etc/ethers，写入一行：00:11:22:33:44:55 192.168.1.66;
5)        E5500上ps –ef | grep rarp，还好，起来了的，否则还要/usr/sbin/in.rarpd –a一下；
6)        打开6120的2个电源，等待它启动完成（状态灯稳定不再闪动），这时设定的IP地址66就灌进6120去了。
说明：接上外电源，6120后面的指示灯就会亮、风扇就转，不管你按没按它的开关。初次安装时多少吓一跳。

7)        管理网口交叉线接到我的本本上，telnet 192.168.1.66：
    Login: root
    Password:（回车）

    6120 Release 3.0. 7 Wed Oct 15 11:03:01 PDT 2003 (192.168.1.66)
    Copyright (C) 1997-2003 Sun Microsystems, Inc.

.8.)      用passwd命令为root设置一个口令，用set hostname设置阵列名为sun6120。

做RAID卷：估算一下：SYBASE的60个2G设备共120G，要做RAID 0+1则需120X2=240G，需4个整盘（73X4=292G，6120卷边界不可跨盘）。ORACLE的40个设备共472G，做RAID 5大约需472X1.3=614G，需9个盘。满配6120的14个盘中正好留14号盘做hot-spare！偶的规划出来了：

    1~9号盘做RAID 5；
    10~13号盘做RAID 0+1；
    14号盘做hot-spare（每个6120机箱只能有1个，只能用14号盘，可以为2个卷共用）

打命令吧：

    sun6120:/:vol add v001 data u1d1-9 raid 5 standby u1d14
    sun6120:/:vol add v002 data u1d10-13 raid 1 standby u1d14
    sun6120:/:vol init v001 data
    WARNING - Volume data will be initialized to zero.
    WARNING - Volume initialization can take a significant amount of time.
    Continue ? [N]: y
    Volume initialization in progress...

由于6120的管理命令系统是不可重入的，这时只有等待v001初始化做完后才可以接着做v002。也可以另外开一个telnet窗口，用proc list来监控进程进展情况。这个进程很慢（好象花了50多分钟吧），不过现在可以到主机上去装HBA卡了。
（待续）

Philmoon

7.        安装主机适配卡
装卡的工作包括硬件和软件（驱动、补丁）的安装。
SUN E5500是老机器，I/O板是Sbus的，因此要用X6757A卡。

1)        关机、取板子、装卡、装板子、开机；
2)        uname –v；显示“Generic_108528-24”，那好，就不再打推荐补丁包了，这么老的机器；
3)        pkginfo | san；没有。那就要装Sun SAN的包了。ftp一个SFS_base_packages.S8.tar.Z上去；
4)        uncompress SFS*.Z
         tar xvf SFS*.tar
         cd S*
         pkgadd –d .
         ……
再将SAN包的补丁ftp上去、安装（SAN的包和补丁的最新版本可到SUN相关网站上去下，其名称和补丁号会有变化，这里就不详细列了，免致误导）
5)        重启动机器，到ok状态下，检查HBA卡的识别：
    {0} ok probe-fcal-all
    /sbus@b,0/SUNW,qlc@0,30400
    /sbus@b,0/SUNW,qlc@0,30000
有了，OK。

8.        6120进一步配置
同上操作，完成v002的初始化工作后，检查一下：
    sun6120:/:vol mount v001
    sun6120:/:vol mount v002
    sun6120:/:vol list

    volume         capacity         raid data             standby
    v001            511.276 GB    5 u1d01-09         u1d14
    v002            136.340 GB    1 u1d010-13       u1d14

哈哈，完成后的卷容量完全可以满足DBA要求数据库设备容量的分配，虽有余量但也不很多（VxVM划分时还要占用到部分空间的！），否则偶就要跟DBA重新讨论，弄不好要重新做RAID！
下面需要进行volslice（卷片）的划分、LUN的映射和LUN的访问授权工作。这些完成后，阵列上1个LUN就被主机识别为1个盘。前面说过，100个设备卷的划分超过了volslice的极限，必须使用VxVM来做，因此本可不做volslice划分。但考虑到使用的VxVM为版本3，必须要一个rootdg，这里划分volslice就是为rootdg做一个小小的空间，就用v001的零头吧。

建立volslice：
    sun6120:/:volslice create s001 –z 0.276gb v001
    sun6120:/:volslice create s002 –z 511gb v001
    sun6120:/:volslice create s003 –z 136.340gb v002
    sun6120:/:volslice list
    Slice         Slice Num     Start Blk      Size Blks        Capacity     Volume
    S001          0             0             578813            282.624 MB   v001
    S002          1             578814        1071644672        511.000 GB   v001
    S003          2             0             285927424         136.340 GB   v002

LUN映射：
好象做了volslice后，LUN映射会自动完成，可以lun map list看看。如不对可以手工映射：
sun6120:/:lun map add lun 0 slice 0

LUN访问授权：
由于这个6120只通过1块HBA卡与主机相连，因此不用进行授权的区分，只要把所有的读写授权打开就可以了：
    sun6120:/:lun perm lun 0 rw all_wwn
    sun6120:/:lun perm lun 1 rw all_wwn
    sun6120:/:lun perm lun 2 rw all_wwn
    sun6120:/:exit

9.        E5500与6120连接检查
光纤联结6120输出FC口到X6757A的FC口，重新启动E5500： reboot -- -r
启动过程中可以发现3个报错信息corrupt label，这是E5500已经检测到6120上做好的3个LUN，但由于这些“盘”不是标准的规格的硬盘，系统无法识别，需要用format命令label一下就好了（进入format的时候也会报corrupt label错，并询问是否要做label，答y）：

    # format
    ……
    c5t1d0: configured with capacity of 282.50MB
    c5t1d1: configured with capacity of 510.97GB
    c5t1d2: configured with capacity of 136.33GB

    AVAILABLE DISK SELECTIONS:
           0. c0t10d0 <SUN18G cyl 7506 alt 2 hd 19 sec 248>
              /sbus@3,0/SUNW,fas@3,8800000/sd@a,0
           1. c0t11d0 <SUN18G cyl 7506 alt 2 hd 19 sec 248>
              /sbus@3,0/SUNW,fas@3,8800000/sd@b,0
           2. c5t1d0 <SUN-T4-0300 cyl 3616 alt 2 hd 5 sec 32>
              /sbus@b,0/SUNW,qlc@0,30400/fp@0,0/ssd@w20030003xx73xx7x,0
           3. c5t1d1 <SUN-T4-0300 cyl 32702 alt 2 hd 256 sec 128>
              /sbus@b,0/SUNW,qlc@0,30400/fp@0,0/ssd@w20030003xx73xx7x,1
           4. c5t1d2 <SUN-T4-0300 cyl 34900 alt 2 hd 128 sec 64>
              /sbus@b,0/SUNW,qlc@0,30400/fp@0,0/ssd@w20030003xx73xx7x,2

可以看到，前面2个是E5500的内置盘，后3个是6120上的3个LUN（6120在SUN内部又称为T4）。因此，目前E5500对6120的识别完全OK。
说明：某些情况下需要cfgadm –c configure才能识别。

10.        VxVM卷的划分
VxVM 3.1安装在E5500上/opt/VRTSvxvm和/opt/VRTSvmsa/bin/vmsa 中，后者是图形界面管理工具（GUI）。VxVM首先将要管理的盘组成“磁盘组”（dg即  disk group），然后在dg中生成“卷”（vol即volume），1个vol就相当于操作系统下可使用的1个逻辑盘，它的裸设备逻辑名称在/dev/vx/rdsk/<dg名称>目录下，与vol名相同。

规划：6120的3个LUN在VxVM下分别对应3个dg：rootdg, oradg和sybdg（相当于每个dg中只有1个盘），其中rootdg是VxVM内部管理使用，必须要有、必须首先建立（VxVM 4版后不再需要rootdg），不推荐用来存放应用数据。oradg是ORACLE裸设备磁盘组，将按要求的容量生成40个不同大小的卷（v001-v040）；sybdg是SYBASE裸设备磁盘组，将要求生成60个2G卷（v001-v060，不同dg中的vol可同名）。
可查看E4500上的/dev/vx/rdsk目录：

建立dg：初始建立rootdg使用vxinstall实用程序，对c5t1d0进行封装并初始化（encapsulation）；
建立oradg和sybdg并将c5t1d1 、c5t1d2分别分配给它们，可以用GUI图形界面，也可以用vxdiskadm实用程序；

划卷：在oradg、sybdg中按需要的容量划卷，可以使用GUI图形界面。不过……靠鼠标点击+输入参数来建立这么100个vol，手酸眼花不说，恐怕得做上好几个小时呢（1.5分钟做一个就是2.5个小时）。偶懒，怕累，还是使用命令行方式，把命令写到script中去执行吧。命令的格式是：

    vxassist –g <dg名> make <卷名> <容量>

写个预处理script先：
    rm ./myscript
    x=1
    while [ $x -lt 60 ]
    do
       if [ $x -lt 10 ]; then
         n='00'$x
       else
         n='0'$x
       fi
       echo 'vxassist -g sybdg vol'$n '2g'>>myscript
       x=`expr $x + 1`
    done

生成的myscript就是准备用来划卷的script。这样预处理的好处在于，可以先检查一下生成的命令序列中有无问题，以免直接操作弄出错误又要重来。无错，chmod +x myscript，./myscript须臾就成功了。修改预处理script中的循环次数=40、dg名为oradg，如法炮制另一个myscript2，然后vi它，使满足ORACEL的要求：

    vxassist –g oradg make v001 2g
    ……
    vxassist –g oradg make v012 2g
    vxassist –g oradg make v013 8g
    ……
    vxassist –g oradg make v021 16g
    ……
    vxassist –g oradg make v037 32g
    ……

一切OK！总共不过15分钟！

11.        检查：
VxVM中的dg, vol等对象，在图形管理界面vmsa中可以清楚地看到，也可用命令行方式查看，如vxdg list, vxdisk list, vxprint –ht等；
cd到/dev/vx/rdsk下可以看到各个dg的目录；
cd到某个dg目录下可以看到建立的卷；
由于数据库要求用裸设备，因此各个vol上没必要再生成文件系统。不过可选个别卷做一下newfs、mount，做一下读写测试：
# newfs /dev/vx/rdsk/oradg/v018
# mount /dev/vx/dsk/oradg/v0l8  /mnt

12.        记录资料，整理笔记，OVER

说明：SE6120一般应该是成对使用的，单机箱使用无法表现出其设计优势。6120的配置命令与T3+基本相同，因此对T3的配置也可参考本文

东方蜘蛛

呵呵，沙发：）

idol

好帖子非常有用谢谢了

风之幻想

精华!

秋风No.1

原帖由 Philmoon 于 2005-11-16 16:00 发表
Sun 6120(单机箱)安装实战

1.        配置情况
SE 6120阵列1台，单个机箱，带1个RAID控制器，配14块73G硬盘。主机为老机器SUN E5500，Solaris 8 02/02。

2.        安装要求
阵列与主机HBA卡相连，空间划 ...

好贴，但是一个RAID控制器未免有单点故障的危险

Philmoon

原帖由 秋风No.1 于 2005-11-16 16:47 发表


好贴，但是一个RAID控制器未免有单点故障的危险

是的，后来又增加了一个。现在它们成双了……

笑看风云_淡

顶！

zjc_0264

好贴！！

alfee

还好，这东西做一次忘一次，记下了，

另补充点缺的，参数对性能影响多多呦：

按Sun手册，建议SE6120/6130以2x2配置，2控制器，2 Tray，Raid 5，12+1+1（Hotspare-1, 校验-1），每Tray 4 Lun， 32KB I/O size，d对Oracle OLTB (70读，30写），IOPS为2484，

你原采用单控制器单阵列配置，性能打5折，你原采用单阵列上8盘Raid 5，性能再打5折，
此安装方法，将Oracle的数据和Oracle的log做在一个LUN上了，即数据I/O和Oracle自己写log的I/O都在此LUN上，性能减1折，

即，此阵列安装方法获得最后理想情况的IOPS== 2484 /4 == 621 IOs/s，含数据IO和Oracle log的IO，

假定，Oracle用户每次交易4-5次I/O，即本阵列的安装最大支持同时的Oracle用户为621 I/Os / 5I/Os ＊ 90％ == 110个用户，

所以2x2配置的SE6130/6120，才可全性能提供服务，没浪费E5500。

其它：12路250MHz E6000，M值19800，300在线Oracle用户中等负载所需M值需19500，
即你E5500，应以12 CPU / （300 / 110）== 4CPU 满负载运行，或配8CPU 50％空闲， E4500就够了，
以每CPU195MB的内存建议，实际需内存8 CPU ＊ 195MB = 1.6 GB内存。
如每后实际采用2x2配置的SE3120/6130，可在I/O上最大支持2484 IOs / 5 IOs == 500 Oracle同时在线用户，但12路250MHz CPU又不够了，应满配14个高主频CPU的E5500，3 GB内存。

[ 本帖最后由 alfee 于 2005-11-16 17:46 编辑 ]