USP-V将DS8000虚拟的全过程

qqadmini

1．        光纤交换机
a.        在光纤交换机创建Zoning，允许USP-VM访问现有存储的端口；允许主机访问USP-VM的端口（为下一步分配资源做准备，但未在USP-VM进行映射和绑定主机HBA的wwn之前，主机不会访问到USP-VM的资源）；
b.        Zoning信息
交换机        Zoning Name        描述        成员1        成员2        备注
                                       
                                       
                                       
                                       

2．        新增存储设置
a.        包括光纤端口的连接属性（交换机模式，固定速率模式等）和处理器属性更改为External Port等信息；如下所示：




b.        可提前完成；
3．        DS8000进行设置
通过对存储进行设置，确认USP-VM可以访问DS8000对应的端口号

2.2.4        虚拟化现有存储
通过在USP-VM上执行虚拟化操作，使得可以看到虚拟化的资源；
1.        停止主机对现有存储系统的访问；
a.        停应用系统；
b.        停数据库；
c.        执行umount文件系统；
d.        执行#varyoffvg；
e.        删除原有的磁盘设备，#rmdev –dl hdisk<n>或者删除HBA卡部分，#rmdev –dl fscsi<n>;
2.        DS8000调整LUN Mapping
a.        停止主机对现有存储的访问；
b.        将需要进行虚拟化的LUN分配给USP-VM；
c.        设置为Windows Non-cluster模式；
d.        确认USP-VM对应端口的wwn被DS8000检测到，并对应绑定；
3.        USP-VM扫描虚拟化的LUN；
a.        通过图形界面连接到USP-VM；
b.        执行如下操作：
c.        选择Add Volume (Manual)，进行扫描；



d.        选择端口；

e.        系统发现外部存储信息；







f.        设置外部资源的属性；




g.        定义地址
















经过上述步骤的操作，将DS8000的LUN虚拟化之后设置为USP-VM的内部资源；
4.        分配资源到主机
通过映射将虚拟化之后的存储资源分配给主机；
a.        通过图形界面连接到USP-VM；选择LUN Manager;

b.        创建Host Group；

c.        映射LUN，将虚拟化之后的LUN分配给主机；

d.        绑定主机wwn;






同样的操作对其他端口进行。
5.        操作系统安装HDLM多路径软件：参照HDLM安装部分；
6.        主机检测磁盘；
a.        在主机执行#cfgmgr –vl fscsi<n>;
b.        确认检测到对应的磁盘；#lsdev –Ccdisk;
c.        确认多路径信息#lspath；
d.        修改磁盘队列深度等属性；#chdev –l hdisk<n> -a queue_depth=8;
e.        执行#importvg操作，使用新的磁盘信息，并确认vg和磁盘pvid的对应关系；
2.2.5        启动应用
通过新的虚拟化之后的资源访问，启动应用；
1.        根据实际情况，必要时修改裸设备的属主关系；#chown;
2.        挂载文件系统；
3.        启动应用进行检查。
2.2.6        风险规避和回退
1.        整体虚拟化：
a.        上述虚拟化只是对扫描到的存储资源进行定义地址，不会对现有存储的数据进行任何修改，因此数据安全可以保障；
b.        操作之前对现有存储的配置信息进行了备份，回退操作：将新存储上增加允许USP-VM访问部分删除即可；
c.        操作之前进行了数据备份，在数据安全性方面增加更大的保障；
2.        光纤交换机
a.        执行之前进行了配置信息备份，可以确保安全性；
b.        只是增加新的访问Zoning关系，不会删除原来的Zoning关系，对原来的影响小；
c.        回退操作：必要时将新增加的Zoning删除即可；
3.        主机层面和存储层面
a.        因为虚拟化操作不会删除主机对DS8000的访问设置，只是修改，因此更改回原来设置即可恢复；
b.        操作之前进行了信息的备份，主要是vg对应信息；
c.        虚拟化之后直接执行#importvg；如果出现异常，则回退操作：
i.        删除新检测到的磁盘信息；
ii.        在DS8000上重新设置主机的访问；
iii.        取消USP-VM的访问设置（删除wwn绑定）；
iv.        重新检测磁盘；
v.        重新#importvg；
d.        多路径软件HDLM只是针对HDS磁盘信息进行管理，不会影响原来的访问模式，如果出现异常，则可以将HDLM卸载即可。

第3章        HDLM实施
本安装以HDLM for AIX 5.9.x以上版本为例。
下述步骤在每台AIX服务器上都需执行一遍。
1.        以root用户登录AIX，确认OS能够识别到存储的LUN。
如果AIX主机配置了2块FC HBA卡，那么没有安装HDLM之前主机能识别到的hdisk(s)数量是映射到这台主机的LU(s)的n倍(n与映射的路径数量有关)，例如，磁盘阵列划分了1个LU，并映射2条路径到主机后，主机能识别到2个hdisk设备。
以下均假设IBM主机连接到1台HDS磁盘阵列，每台主机配置了2块FC HBA卡。
2.        安装hdlm之前删除hdisk设备；#rmdev –dl hdisk<n>；
3.        修改HBA卡参数，以满足HDLM需要；
#rmdev –l fscsi<n> -R;
重复执行上述步骤对连接HDS磁盘阵列的HBA卡进行操作；
#chdev –l fscsi<n> -a fc_err_recov=fast_fail;
重复执行上述步骤对连接HDS磁盘阵列的HBA卡进行操作;
#lsattr –El fscsi<n>检查确认fc_err_recov已经设置为fast_fail;
4.        把HDLM许可（license key）光盘插入光驱，mount上光驱后保存许可文件到/var/tmp/下，更名为hdlm_license（/var/tmp/hdlm_license）。
# mount -rv cdrfs /dev/cd0 /mnt
或
# mount -v cdrfs -o ro /dev/cd0 /mnt
mount上光盘后，
# cp /mnt/hds_hdlm.plk /var/tmp/
# cp /var/tmp/hds_hdlm.plk /var/tmp/hdlm_license
# umount /dev/cd0
5.        安装正确的odm驱动程序（odm包常包含在HDLM光盘中）：
将odm包以bin模式ftp到AIX服务器；
# mkdir /tmp/hds
# cp –r aix_odm.tar /tmp/hds/
# cd /tmp/hds
# tar xvf *.tar
#inutoc .
# installp –aXgd ./ all
Odm驱动安装完后，继续执行以下步骤。
6.        安装HDLM软件。执行下述安装命令：
# installp -aXgd /dev/cd0 all
如果HDLM已从光盘拷贝到系统的一个目录下，则：
# installp -aXgd directory-copied-from-CD-ROM all
directory-copied-from-CD-ROM指HDLM所在的目录路径。
7.        执行下述命令确认软件包已经安装：
# lslpp -L DLManager.mpio.rte
确认输出列表的 fileset 项包含DLManager.mpio.rte，其status是C (commit)。
8.        执行 cfgmgr 配置HDLM设备：
#cfgmgr –vl fcs<n>；
分别对各个连接到存储的HBA卡进行扫描；
确认fcs<n>扫描正常之后，再执行#cfgmgr –v做全部扫描；
确认HDLM相关的设备是可用的，例如：
# lsdev -Ccdisk
hdisk0 Available 0E-08-00-3,0 16 Bit LVD SCSI Disk Drive
hdisk1 Available 0E-08-00-4,0 16 Bit LVD SCSI Disk Drive
hdisk2 Available 0E-08-00-5,0 16 Bit LVD SCSI Disk Drive
hdisk3 Available 0D-08-01     Hitachi Disk Array (Fibre)
hdisk4 Available 0D-08-01     Hitachi Disk Array (Fibre)
hdisk5 Available 0D-08-01     Hitachi Disk Array (Fibre)
#lspath
Enabled hdisk0 scsi3
Enabled hdisk1 scsi3
Enabled hdisk2 scsi3
Enabled hdisk3 fscsi0
Enabled hdisk4 fscsi0
Enabled hdisk5 fscsi0
Enabled hdisk3 fscsi1
Enabled hdisk4 fscsi1
Enabled hdisk5 fscsi1
确认每个hdisk都对应两块HBA卡
9.        确认HDS磁盘阵列设备对应的物理卷被HDLM管理。
例如，可执行下述命令检查：
# /usr/DynamicLinkManager/bin/dlnkmgr view -drv
PathID HDevName OSPathID LDEV
000000 hdisk0 0000 9500V.0051.0005
000001 hdisk1 0000 9500V.0051.0015
000002 hdisk2 0000 9500V.0051.0020
000003 hdisk0 0001 9500V.0051.0005
000004 hdisk1 0001 9500V.0051.0015
000005 hdisk2 0001 9500V.0051.0020
KAPL01001-I The HDLM command completed normally. Operation name = view, completion time =
yyyy/mm/dd hh:mm:ss
10.        执行 dlnkmgr 命令的 view 选项检查HDLM的状态。
下面是命令执行的一个例子：
#/usr/DynamicLinkManager/bin/dlnkmgr view -sys
HDLM Version : xx-xx
Service Pack Version :
Load Balance : on(rr)
Support Cluster :
Elog Level : 3
Elog File Size (KB) : 9900
Number Of Elog Files : 2
Trace Level : 0
Trace File Size(KB) : 1000
Number Of Trace Files : 4
Path Health Checking : on(30)
60 Chapter 3 Creating an HDLM Environment
Auto Failback : off
Intermittent Error Monitor : off
HDLM Manager Ver WakeupTime
Alive xx-xx yyyy/mm/dd hh:mm:ss
HDLM Alert Driver Ver WakeupTime ElogMem Size
Alive xx-xx yyyy/mm/dd hh:mm:ss 4000
HDLM Driver Ver WakeupTime
Alive xx-xx yyyy/mm/dd hh:mm:ss
License Type Expiration
Permanent -
KAPL01001-I The HDLM command completed normally. Operation name = view, completion time
= yyyy/mm/dd hh:mm:ss
即使使用了cluster软件，cluster软件的名字在Support Cluster项也是没有显示的，但cluster支持功能是运行正常的。
11.        根据需要修改磁盘的队列深度和访问超时设置
# chdev -l hdiskn -a queue_depth=8 -a rw_timeout=60
12.        如果使用Oracle RAC，则对应磁盘的Reservation需要修改。
检查当前设置信息：
# lsattr -El hdiskn -a reserve_policy
reserve_policy PR_exclusive N/A TRUE
更改设置
# chdev -l hdiskn -a reserve_policy=no_reserve
再次检查设置是否生效
# lsattr -El hdiskn -a reserve_policy
reserve_policy no_reserve N/A TRUE
13.        设置HACMP注册信息
从Smit进入
Communications Applications and Services, HACMP for AIX, Extended Configuration,
Extended Resource Configuration, HACMP Extended Resource Configuration,
Configure Custom Disk Methods, and finally choose Add Custom Disk Methods.

Disk Type (PdDvLn field from CuDv)
disk/fcp/Hitachi

Method to identify ghost disks
SCSI3

Method to determine if a reserve is held
/usr/DynamicLinkManager/cluster/dlm_hacmp_gdisk_reserve_check

Method to break a reserve
TARGET

Break reserves in parallel
false

Method to make the disk available
MKDEV

通过以下操作进行同步
Communications Applications and Services, HACMP for AIX, Extended Configuration,
and finally choose Extended Verification and Synchronization.

以上操作也可以在HACMP的各个节点上进行注册，再执行同步。
14.        执行下述命令确认物理卷被识别。
# cfgmgr
# lsdev -Cc disk
# lspv
如果lspv后显示hdisk<n>                none        none，请执行：
# chdev -l hdisk<n> -a pv=yes
# lspv
如果hdisk<n>的第一none已变成一串16进制的数值（PVID号），说明HDLM已正确安装完成，hdisk<n>也可以开始配置卷组（Volume Group）。
上述操作也可以通过创建vg时自动生成PVID信息。

注：
1.        卸载HDLM for AIX：
# /usr/DynamicLinkManager/bin/dlmrmdev -A
# installp -u DLManager.mpio
此外，如果在安装HDLM for AIX过程中异常终止，执行下述命令清除安装信息后才可重新安装：
# installp -C
2.        如果hdisk<n> 在其中一台主机上已配置卷组，而在另一台主机上hdisk<n> 的PVID号还是none 的话，则需要在配置卷组的主机上执行：
# varyoffvg Volume-Group-Name
然后才能通过 chdev 改变hdisk<n> 的 PVID 号。执行 chdev 后可以执行 importvg 命令导入卷组配置。
# importvg -y volume-Group-Name hdisk<n>
3.        如果光纤线缆的连接发生改变或者重新划分了LUN，请删除原有设备名，再执行 cfgmgr ：
# /usr/DynamicLinkManager/bin/dlnkmgr view -drv
000000 hdisk0 0000 9500V.0051.0005
000001 hdisk1 0000 9500V.0051.0015
# /usr/DynamicLinkManager/bin/dlmrmdev –A
# rmdev -dl hdisk0
# rmdev -dl hdisk1
# cfgmgr

qqadmini

NND,,过程中图片比较多,怎么办啊?

无牙

不贴图，不加精！

无牙

弄成一个pdf吧？

mike79

HDLM现在也建议使用AIX的MPIO框架了？
在什么场合下会要求把DS8000的LUN虚拟化为USP-V的LUN？另外对DS8000有什么要求么？例如微码之类的

michael1983

得有图啊

qqadmini

好,我保证,等我这几天不忙了,搞个PDF上来,,

michael1983

回复 7# qqadmini


    赞一个！

jtw

楼主厉害！！！！

qqadmini

好了 上传PDF了