Chinaunix

标题: USP-V将DS8000虚拟的全过程 [打印本页]

作者: qqadmini 时间: 2010-03-14 22:07
标题: USP-V将DS8000虚拟的全过程
本帖最后由 qqadmini 于 2010-04-18 21:43 编辑

1．光纤交换机
a. 在光纤交换机创建Zoning，允许USP-VM访问现有存储的端口；允许主机访问USP-VM的端口（为下一步分配资源做准备，但未在USP-VM进行映射和绑定主机HBA的wwn之前，主机不会访问到USP-VM的资源）；
b. Zoning信息
交换机 Zoning Name 描述成员1 成员2 备注

2．新增存储设置
a. 包括光纤端口的连接属性（交换机模式，固定速率模式等）和处理器属性更改为External Port等信息；如下所示：

b. 可提前完成；
3． DS8000进行设置
通过对存储进行设置，确认USP-VM可以访问DS8000对应的端口号

2.2.4 虚拟化现有存储
通过在USP-VM上执行虚拟化操作，使得可以看到虚拟化的资源；
1. 停止主机对现有存储系统的访问；
a. 停应用系统；
b. 停数据库；
c. 执行umount文件系统；
d. 执行#varyoffvg；
e. 删除原有的磁盘设备，#rmdev –dl hdisk<n>或者删除HBA卡部分，#rmdev –dl fscsi<n>;
2. DS8000调整LUN Mapping
a. 停止主机对现有存储的访问；
b. 将需要进行虚拟化的LUN分配给USP-VM；
c. 设置为Windows Non-cluster模式；
d. 确认USP-VM对应端口的wwn被DS8000检测到，并对应绑定；
3. USP-VM扫描虚拟化的LUN；
a. 通过图形界面连接到USP-VM；
b. 执行如下操作：
c. 选择Add Volume (Manual)，进行扫描；

d. 选择端口；

e. 系统发现外部存储信息；

f. 设置外部资源的属性；

g. 定义地址

经过上述步骤的操作，将DS8000的LUN虚拟化之后设置为USP-VM的内部资源；
4. 分配资源到主机
通过映射将虚拟化之后的存储资源分配给主机；
a. 通过图形界面连接到USP-VM；选择LUN Manager;

b. 创建Host Group；

c. 映射LUN，将虚拟化之后的LUN分配给主机；

d. 绑定主机wwn;

同样的操作对其他端口进行。
5. 操作系统安装HDLM多路径软件：参照HDLM安装部分；
6. 主机检测磁盘；
a. 在主机执行#cfgmgr –vl fscsi<n>;
b. 确认检测到对应的磁盘；#lsdev –Ccdisk;
c. 确认多路径信息#lspath；
d. 修改磁盘队列深度等属性；#chdev –l hdisk<n> -a queue_depth=8;
e. 执行#importvg操作，使用新的磁盘信息，并确认vg和磁盘pvid的对应关系；
2.2.5 启动应用
通过新的虚拟化之后的资源访问，启动应用；
1. 根据实际情况，必要时修改裸设备的属主关系；#chown;
2. 挂载文件系统；
3. 启动应用进行检查。
2.2.6 风险规避和回退
1. 整体虚拟化：
a. 上述虚拟化只是对扫描到的存储资源进行定义地址，不会对现有存储的数据进行任何修改，因此数据安全可以保障；
b. 操作之前对现有存储的配置信息进行了备份，回退操作：将新存储上增加允许USP-VM访问部分删除即可；
c. 操作之前进行了数据备份，在数据安全性方面增加更大的保障；
2. 光纤交换机
a. 执行之前进行了配置信息备份，可以确保安全性；
b. 只是增加新的访问Zoning关系，不会删除原来的Zoning关系，对原来的影响小；
c. 回退操作：必要时将新增加的Zoning删除即可；
3. 主机层面和存储层面
a. 因为虚拟化操作不会删除主机对DS8000的访问设置，只是修改，因此更改回原来设置即可恢复；
b. 操作之前进行了信息的备份，主要是vg对应信息；
c. 虚拟化之后直接执行#importvg；如果出现异常，则回退操作：
i. 删除新检测到的磁盘信息；
ii. 在DS8000上重新设置主机的访问；
iii. 取消USP-VM的访问设置（删除wwn绑定）；
iv. 重新检测磁盘；
v. 重新#importvg；
d. 多路径软件HDLM只是针对HDS磁盘信息进行管理，不会影响原来的访问模式，如果出现异常，则可以将HDLM卸载即可。

第3章 HDLM实施
本安装以HDLM for AIX 5.9.x以上版本为例。
下述步骤在每台AIX服务器上都需执行一遍。
1. 以root用户登录AIX，确认OS能够识别到存储的LUN。
如果AIX主机配置了2块FC HBA卡，那么没有安装HDLM之前主机能识别到的hdisk(s)数量是映射到这台主机的LU(s)的n倍(n与映射的路径数量有关)，例如，磁盘阵列划分了1个LU，并映射2条路径到主机后，主机能识别到2个hdisk设备。
以下均假设IBM主机连接到1台HDS磁盘阵列，每台主机配置了2块FC HBA卡。
2. 安装hdlm之前删除hdisk设备；#rmdev –dl hdisk<n>；
3. 修改HBA卡参数，以满足HDLM需要；
#rmdev –l fscsi<n> -R;
重复执行上述步骤对连接HDS磁盘阵列的HBA卡进行操作；
#chdev –l fscsi<n> -a fc_err_recov=fast_fail;
重复执行上述步骤对连接HDS磁盘阵列的HBA卡进行操作;
#lsattr –El fscsi<n>检查确认fc_err_recov已经设置为fast_fail;
4. 把HDLM许可（license key）光盘插入光驱，mount上光驱后保存许可文件到/var/tmp/下，更名为hdlm_license（/var/tmp/hdlm_license）。
# mount -rv cdrfs /dev/cd0 /mnt
或
# mount -v cdrfs -o ro /dev/cd0 /mnt
mount上光盘后，
# cp /mnt/hds_hdlm.plk /var/tmp/
# cp /var/tmp/hds_hdlm.plk /var/tmp/hdlm_license
# umount /dev/cd0
5. 安装正确的odm驱动程序（odm包常包含在HDLM光盘中）：
将odm包以bin模式ftp到AIX服务器；
# mkdir /tmp/hds
# cp –r aix_odm.tar /tmp/hds/
# cd /tmp/hds
# tar xvf *.tar
#inutoc .
# installp –aXgd ./ all
Odm驱动安装完后，继续执行以下步骤。
6. 安装HDLM软件。执行下述安装命令：
# installp -aXgd /dev/cd0 all
如果HDLM已从光盘拷贝到系统的一个目录下，则：
# installp -aXgd directory-copied-from-CD-ROM all
directory-copied-from-CD-ROM指HDLM所在的目录路径。
7. 执行下述命令确认软件包已经安装：
# lslpp -L DLManager.mpio.rte
确认输出列表的 fileset 项包含DLManager.mpio.rte，其status是C (commit)。
8. 执行 cfgmgr 配置HDLM设备：
#cfgmgr –vl fcs<n>；
分别对各个连接到存储的HBA卡进行扫描；
确认fcs<n>扫描正常之后，再执行#cfgmgr –v做全部扫描；
确认HDLM相关的设备是可用的，例如：
# lsdev -Ccdisk
hdisk0 Available 0E-08-00-3,0 16 Bit LVD SCSI Disk Drive
hdisk1 Available 0E-08-00-4,0 16 Bit LVD SCSI Disk Drive
hdisk2 Available 0E-08-00-5,0 16 Bit LVD SCSI Disk Drive
hdisk3 Available 0D-08-01    Hitachi Disk Array (Fibre)
hdisk4 Available 0D-08-01    Hitachi Disk Array (Fibre)
hdisk5 Available 0D-08-01    Hitachi Disk Array (Fibre)
#lspath
Enabled hdisk0 scsi3
Enabled hdisk1 scsi3
Enabled hdisk2 scsi3
Enabled hdisk3 fscsi0
Enabled hdisk4 fscsi0
Enabled hdisk5 fscsi0
Enabled hdisk3 fscsi1
Enabled hdisk4 fscsi1
Enabled hdisk5 fscsi1
确认每个hdisk都对应两块HBA卡
9. 确认HDS磁盘阵列设备对应的物理卷被HDLM管理。
例如，可执行下述命令检查：
# /usr/DynamicLinkManager/bin/dlnkmgr view -drv
PathID HDevName OSPathID LDEV
000000 hdisk0 0000 9500V.0051.0005
000001 hdisk1 0000 9500V.0051.0015
000002 hdisk2 0000 9500V.0051.0020
000003 hdisk0 0001 9500V.0051.0005
000004 hdisk1 0001 9500V.0051.0015
000005 hdisk2 0001 9500V.0051.0020
KAPL01001-I The HDLM command completed normally. Operation name = view, completion time =
yyyy/mm/dd hh:mm:ss
10. 执行 dlnkmgr 命令的 view 选项检查HDLM的状态。
下面是命令执行的一个例子：
#/usr/DynamicLinkManager/bin/dlnkmgr view -sys
HDLM Version : xx-xx
Service Pack Version :
Load Balance : on(rr)
Support Cluster :
Elog Level : 3
Elog File Size (KB) : 9900
Number Of Elog Files : 2
Trace Level : 0
Trace File Size(KB) : 1000
Number Of Trace Files : 4
Path Health Checking : on(30)
60 Chapter 3 Creating an HDLM Environment
Auto Failback : off
Intermittent Error Monitor : off
HDLM Manager Ver WakeupTime
Alive xx-xx yyyy/mm/dd hh:mm:ss
HDLM Alert Driver Ver WakeupTime ElogMem Size
Alive xx-xx yyyy/mm/dd hh:mm:ss 4000
HDLM Driver Ver WakeupTime
Alive xx-xx yyyy/mm/dd hh:mm:ss
License Type Expiration
Permanent -
KAPL01001-I The HDLM command completed normally. Operation name = view, completion time
= yyyy/mm/dd hh:mm:ss
即使使用了cluster软件，cluster软件的名字在Support Cluster项也是没有显示的，但cluster支持功能是运行正常的。
11. 根据需要修改磁盘的队列深度和访问超时设置
# chdev -l hdiskn -a queue_depth=8 -a rw_timeout=60
12. 如果使用Oracle RAC，则对应磁盘的Reservation需要修改。
检查当前设置信息：
# lsattr -El hdiskn -a reserve_policy
reserve_policy PR_exclusive N/A TRUE
更改设置
# chdev -l hdiskn -a reserve_policy=no_reserve
再次检查设置是否生效
# lsattr -El hdiskn -a reserve_policy
reserve_policy no_reserve N/A TRUE
13. 设置HACMP注册信息
从Smit进入
Communications Applications and Services, HACMP for AIX, Extended Configuration,
Extended Resource Configuration, HACMP Extended Resource Configuration,
Configure Custom Disk Methods, and finally choose Add Custom Disk Methods.

Disk Type (PdDvLn field from CuDv)
disk/fcp/Hitachi

Method to identify ghost disks
SCSI3

Method to determine if a reserve is held
/usr/DynamicLinkManager/cluster/dlm_hacmp_gdisk_reserve_check

Method to break a reserve
TARGET

Break reserves in parallel
false

Method to make the disk available
MKDEV

通过以下操作进行同步
Communications Applications and Services, HACMP for AIX, Extended Configuration,
and finally choose Extended Verification and Synchronization.

以上操作也可以在HACMP的各个节点上进行注册，再执行同步。
14. 执行下述命令确认物理卷被识别。
# cfgmgr
# lsdev -Cc disk
# lspv
如果lspv后显示hdisk<n> none none，请执行：
# chdev -l hdisk<n> -a pv=yes
# lspv
如果hdisk<n>的第一none已变成一串16进制的数值（PVID号），说明HDLM已正确安装完成，hdisk<n>也可以开始配置卷组（Volume Group）。
上述操作也可以通过创建vg时自动生成PVID信息。

注：
1. 卸载HDLM for AIX：
# /usr/DynamicLinkManager/bin/dlmrmdev -A
# installp -u DLManager.mpio
此外，如果在安装HDLM for AIX过程中异常终止，执行下述命令清除安装信息后才可重新安装：
# installp -C
2. 如果hdisk<n> 在其中一台主机上已配置卷组，而在另一台主机上hdisk<n> 的PVID号还是none 的话，则需要在配置卷组的主机上执行：
# varyoffvg Volume-Group-Name
然后才能通过 chdev 改变hdisk<n> 的 PVID 号。执行 chdev 后可以执行 importvg 命令导入卷组配置。
# importvg -y volume-Group-Name hdisk<n>
3. 如果光纤线缆的连接发生改变或者重新划分了LUN，请删除原有设备名，再执行 cfgmgr ：
# /usr/DynamicLinkManager/bin/dlnkmgr view -drv
000000 hdisk0 0000 9500V.0051.0005
000001 hdisk1 0000 9500V.0051.0015
# /usr/DynamicLinkManager/bin/dlmrmdev –A
# rmdev -dl hdisk0
# rmdev -dl hdisk1
# cfgmgr

XX虚拟化.pdf

821.97 KB, 下载次数: 1208

作者: qqadmini 时间: 2010-03-14 22:08
NND,,过程中图片比较多,怎么办啊?

作者: 无牙 时间: 2010-03-14 22:14
不贴图，不加精！

作者: 无牙 时间: 2010-03-14 22:14
弄成一个pdf吧？

作者: mike79 时间: 2010-03-14 22:29
HDLM现在也建议使用AIX的MPIO框架了？
在什么场合下会要求把DS8000的LUN虚拟化为USP-V的LUN？另外对DS8000有什么要求么？例如微码之类的

作者: michael1983 时间: 2010-03-14 22:36
得有图啊

作者: qqadmini 时间: 2010-03-14 23:41
好,我保证,等我这几天不忙了,搞个PDF上来,,

作者: michael1983 时间: 2010-03-15 09:59
回复 7# qqadmini

赞一个！

作者: jtw 时间: 2010-03-15 14:29
楼主厉害！！！！

作者: qqadmini 时间: 2010-03-15 16:13
好了上传PDF了

作者: michael1983 时间: 2010-03-15 16:48
感谢分享呐！

作者: brucewoo 时间: 2010-03-16 00:20
谢谢分享

作者: 无牙 时间: 2010-03-16 07:36
不错！

作者: cq_2006 时间: 2010-03-16 10:48
太强了，真的不错

作者: 无牙 时间: 2010-03-16 14:44
刚才下了一个看了看，的确不错，就是图少。

作者: visorqw 时间: 2010-03-22 14:47
呵呵，这样的迁移已经做了5套了，不过都是在HPUX上（uspvm--xp1024）
其中有两套是cluster环境。楼主有没有碰到vgimport 时lun 乱掉的问题。我碰到过两次，都是lun比较多的时候，无法自动匹配lung,非常奇怪。uspvm上检查过lun是一一对应的。

作者: visorqw 时间: 2010-03-22 14:51
还有，在soalris,和HPUX平台安装LVM软件和聚合路径的时候必须要重启Server,非常麻烦。
而且今后如果增加disk也需要用HDLM，必须重启。

这个可能和HPUX内核有关系吧，我是hpux 11.11 solaris 9
不过HP自己的多路径软件就不需要重启（xp系列），果然够狠。。。

作者: desert_xu 时间: 2010-03-23 14:16
楼主很强汗阿，顶一下啊

作者: wangf15 时间: 2010-03-31 16:26
写的不错，很完整！谢谢

作者: david5337 时间: 2010-03-31 20:03
据说结果USP虚拟化之后，存储系统的IO性能不是太好；貌似cache size不能改到小于64kb的大小。

作者: bond2200 时间: 2010-04-06 13:35
楼主终于有动作了，不错

作者: yoyosys 时间: 2010-04-06 14:25
{:3_189:}

作者: jxlh 时间: 2010-04-14 13:22
个人感觉，这样做没有什么必要。如果单纯的是为了增加主机存储空间，这么做多太费事情。如果为了迎合现在虚拟化的口号，还行。不过大家想过没有，如果USP连接到DS的端口出现问题，将会怎样。性能如何？

作者: cjns 时间: 2010-04-14 21:22
DS8000 在虚拟化后变成9500了，哈哈哈哈！掉价200W

作者: chenliang 时间: 2010-04-16 22:02
楼主很强大，向你学习

作者: qqadmini 时间: 2010-04-18 21:46
本帖最后由 qqadmini 于 2010-04-18 21:47 编辑

个人感觉，这样做没有什么必要。如果单纯的是为了增加主机存储空间，这么做多太费事情。如果为了迎合现在虚 ...
jxlh 发表于 2010-04-14 13:22

1:USP-V不会和DS8K直连(他们都是连接到光纤交换机)
2:不是增加存储空间,HDS的虚拟化的你可以这样理解:其他的厂家的存储将将USP-V或者USP-VM看成"主机"!, 然后USP-VM将其他的厂商的存储空间作为自己的LUN,在映射给实际主机!

作者: jxlh 时间: 2010-04-19 10:42
回复 26# qqadmini

用什么连接并不重要，但实际上数据读写是通过USP-V来传递到IBM DS8K.这样一个过程会对读写造成延迟。请问一下如果将两个阵列的磁盘做在一个VG中实际测试的性能如何？

作者: michael1983 时间: 2010-04-19 10:52
增加了故障点。
不同阵列的盘往一个vg里划，原则上不建议吧

作者: saintdragon 时间: 2010-04-19 11:38
没看到图。
pdf下载了慢慢学习

作者: li1965 时间: 2010-04-19 13:10
pdf 发吧

作者: bosshoss_cn 时间: 2010-05-04 16:47
其实存储不也是一个虑拟化的东西？
一堆硬盘加个LVM再MAPING出去给别的主机用

现在的存贮再次虑拟化，还是为了集中管理，增加空间，或者增加容灾为多，

一堆的LUN划到一个VG，条带需不需要CPU来处理啊，难道就不影响性能？

鸟人，发到我邮箱，LOOK下

作者: bosshoss_cn 时间: 2010-05-04 16:49
本帖最后由 bosshoss_cn 于 2010-05-04 17:03 编辑

呵呵，这样的迁移已经做了5套了，不过都是在HPUX上（uspvm--xp1024）
其中有两套是cluster环境。楼主有没有 ...
visorqw 发表于 2010-03-22 14:47

没碰到过这样的事情
不过AIX下看文档，有命令可以保证二边一致

作者: 撒旦的使者 时间: 2010-05-17 13:51
存储虚拟化有什么用？

作者: 痴痴的人 时间: 2010-05-18 12:08
很好很强大！

作者: diyxyj 时间: 2010-05-21 18:01
LZ太强了阿顶啊~！

作者: apple_applie 时间: 2010-05-25 16:57
把所有的文档都整合到word或者pdf里去吧，等待楼主更新

作者: yuanyuan1761 时间: 2010-05-26 11:55
楼主辛苦了。^_^。

作者: mainframe 时间: 2010-05-30 00:03
回复 31# bosshoss_cn

LZ刚离开某城市，回到海边，就把这个扔出来了

作者: netsure 时间: 2010-06-02 17:33
顶，

作者: dlch 时间: 2010-06-28 16:57
坚决向楼主学习

作者: amirwap 时间: 2010-07-12 14:50
文档很详细，谢谢，最近也开始做usp-vm的虚拟化了，正好参考一下。

作者: fadelife 时间: 2010-07-15 09:24
了解一下高端存储

作者: hapig 时间: 2010-07-28 01:17
这个可是好东西啊，多谢分享

作者: zhaojianyong 时间: 2010-08-25 15:26
不错

作者: hapig 时间: 2010-11-13 18:18
P wqh 这个可以顶的啊

作者: milujite 时间: 2010-11-17 13:03
顶～算是比较珍贵的HDS实施文档了。刚好过阵子要搞这个

作者: 犯困的猫 时间: 2010-11-17 13:42
这个之前没注意到，偷走~

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)