悬赏50X币实战求助：vmware esx server3下raid5硬盘扩容

liujialijingxia

昨天遇到一个问题，客户那里有台DELL poweredge 2970的服务器，服务器上有5块146G的SAS硬盘，其中两块硬盘做了RAID1用于存放划分的7个虚拟机，3块盘做的RAID5存放数据（这是DELL给客户做的，客户那有存储，不知道DELL工程师怎嘛想的，我们一般都是虚拟机用一台服务器，数据放在存储上），现在遇到的问题是，客户原来的RAID5空间不足，想扩容，DELL的扩容软件是运行在系统下面的，支持windows和linux的操作系统，扩容软件是通过IE浏览器来操作的，现在我们只能在管理端看到各台机器的系统和应用，扩容软件没办法用了。  求助各位有在虚拟机下面做过硬件扩容的吗？ 先数据迁移，再重建RAID方法就不要建议了。。

liujialijingxia

大家都没有过经验吗？

戴墨镜的乌龟

这个情况很特殊，感觉楼主你没说清楚问题

在虚拟机里用浏览器去添加RAID5，是这个意思吧  可以添加。 因为虚拟机是独立运行在自己的2块硬盘上的，所以没什么问题，你等于是远程管理物理服务器，添加阵列而已

不过扩容软件没法用，大概是虚拟机兼容性问题，解决方法是临时用一块硬盘，挂在物理机上，装系统启动，然后用浏览器扩容软件添加阵列。

不过看样子是软阵列，配置信息看看能不能从虚拟机里导出来，这样物理机上才能添加成功——原先在虚拟机里是如何添加的？

还是说在物理机添加好阵列，然后在虚拟机里做的映射？

liujialijingxia

在虚拟机里用浏览器去添加RAID5，是这个意思吧  可以添加。 因为虚拟机是独立运行在自己的2块硬盘上的，所以没什么问题，你等于是远程管理物理服务器，添加阵列而已

不是添加阵列是扩容，现在服务器只有一个硬盘位了，有3个的话 我就直接在添加个R5,但是现在是在原有3块RAID5硬盘的基础上，扩容一块硬盘到4块。DELL官方只提供软件扩容，这个软件是运行在系统下的，通过IE流浪器配置的，但是现在我只有一个管理虚拟机的客户端，在不用迁移数据的方法上，大家有做过虚拟机下 硬盘扩容的吗

戴墨镜的乌龟

你可以备份原有数据 然后直接加盘 4块重组R5啊，这多简单

liujialijingxia

说了不做迁移的，一是先不管数据量的大小，其次是我虚拟机里跑了7个应用，好多数据库文件目录，以及权限我怕到时候会出问题，现在找到解决办法了，希望对大家学习有帮助，DELL的资深工程师发来的方法文档，他们这样操作过

安装OMSA

1.通过putty以root账号登录ESX3主机service console;



2.将OMSA光盘放入ESX3主机光驱，用下面命令mount 光驱设备：

[root@esx3]#mount /dev/cdrom /mnt



3.进入/mnt/SYSMGMT/srvadmin/linux/supportscripts，里面有如下文件：

[root@esx3 supportscripts]# ls

prereqcheck  srvadmin-install.sh  srvadmin-openipmi.sh  srvadmin-services.sh  srvadmin-uninstall.sh



4．运行安装文件srvadmin-install.sh：

[root@esx3 supportscripts]# ./srvadmin-install.sh



##############################################



  Server Administrator Custom Install Utility



##############################################



  Components for Server Administrator Managed Node Software:



    [ ] 1. Server Administrator CLI

    [ ] 2. Server Administrator Web Server

    [ ] 3. Storage Management

    [ ] 4. Remote Access Core

    [ ] 5. Remote Access SA Plugins

    [ ] 6. All



  Enter the number to select a component from the above list.

  Enter q to quit.



5.选择6全部安装：

Components for Server Administrator Managed Node Software:



    [x] 1. Server Administrator CLI

    [x] 2. Server Administrator Web Server

    [x] 3. Storage Management

    [x] 4. Remote Access Core

    [x] 5. Remote Access SA Plugins

    [x] 6. All



  Enter the number to select a component from the above list.

  Enter c to copy selected components to destination folder.

  Enter i to install the selected components.

  Enter r to reset selection and start over.

  Enter q to quit.



  Enter : i



  Default install location is: /opt/dell/srvadmin

  Do you want to change it?

  Press (\'y\' for yes | \'Enter\' for default):

Installing the selected packages.



warning: instsvc-drivers-5.3.0-438.i386.rpm: V3 DSA signature: NOKEY, key ID 23b66a9d

Preparing...                ########################################### [100%]

   1:srvadmin-omilcore      ########################################### [  6%]

     To start all installed services without a reboot,

     enter the following command:  srvadmin-services.sh  start

   2:srvadmin-syscheck      ########################################### [ 11%]

   3:srvadmin-deng          ########################################### [ 17%]

   4:srvadmin-omauth        ########################################### [ 22%]

   5:srvadmin-omacore       ########################################### [ 28%]

   6:srvadmin-jre           ########################################### [ 33%]

   7:srvadmin-racadm4       ########################################### [ 39%]

   8:srvadmin-racsvc        ########################################### [ 44%]

   9:srvadmin-ipmi          ########################################### [ 50%]

  10:srvadmin-hapi          ########################################### [ 56%]

  11:srvadmin-isvc          ########################################### [ 61%]

  12:srvadmin-rac4-component########################################### [ 67%]

  13:instsvc-drivers        ########################################### [ 72%]

  14:srvadmin-cm            ########################################### [ 78%]

  15:srvadmin-iws           ########################################### [ 83%]

  16:srvadmin-omhip         ########################################### [ 89%]

  17:srvadmin-racdrsc4      ########################################### [ 94%]

  18:srvadmin-storage       ########################################### [100%]

提示是否启动SA服务，回答“y”：

   Do you want the Server Administrator services started?

   Press (\'y\' for yes | \'Enter\' to exit): y

Starting Remote Access Controller (RAC4) Service...        [  OK  ]

Starting Systems Management Device Drivers:

Building dell_rbu using DKS:                               [  OK  ]

Starting dell_rbu:                                         [  OK  ]

Starting ipmi driver:                                      [  OK  ]

Starting snmpd:                                            [  OK  ]

Starting Systems Management Data Engine:

Starting dsm_sa_datamgr32d:                                [  OK  ]

Starting dsm_sa_eventmgr32d:                               [  OK  ]

Starting dsm_sa_snmp32d:                                   [  OK  ]

Starting DSM SA Shared Services:            OK             [  OK  ]

Starting DSM SA Connection Service:                        [  OK  ]





6.至此OMSA安装完成，然后需要开启esx防火墙的对应端口：

[root@esx3]# esxcfg-firewall -o 1311,tcp,in,openmanage



7.从任意一台客户端上输入https://esx主机ip：1311打开OMSA管理界面。

云杉上的蝴蝶

esx 不就是个Linux ！
你应该是做的硬件raid吧！
你那个所谓的扩容软件应该也是调用硬件阵列卡的API 实现在线扩容的吧！
你现在是要将3块盘的raid5 升迁到4块盘的raid5，而且最好不重启服务器是吧？
是不是ESX 装在硬件raid1 的虚拟卷上，剩余空间创建的ESX 存储卷（池）放虚拟机系统盘，另外一个硬件raid5 的虚拟卷做另一个ESX 存储卷放虚拟机数据盘？

云杉上的蝴蝶

看了一下dell官方论坛的帖子，如果客户允许暂停服务器的话那做起来应该比较轻松。
IBM 和HP 的磁盘整列卡都可以在保存现有数据的情况下向现有raid5 整列（VD）添加新的磁盘以实现扩容！
Dell 的卡用的是LSI的控制芯片，应该功能和IBM 的server raid 8i 、HP 的Smart array 差不多！



比较笨的办法是买3块更大容量的盘可以尝试换盘，（即假想Raid5坏一块盘的情况）一块块换。都换完后，3块盘都会多出一块空闲的空间，再做一个raid5 VD，用新的VD做一个新的ESX存储卷。
但是Raid5 在数据重构的时候虽然可以不中断服务但是性能是很差的，所以机器上虚拟机提供的服务可能会出现慢掉等于没有的情况。
所以最好是停掉虚拟机，重启后进到整列卡的配置模块里去添加磁盘。
不久完了！

可惜ESX用的不是ZFS 否则就简单多了！

云杉上的蝴蝶

The PERC 5 SAS RAID adapters cannot use the   same LSI management tools as their SCSI RAID counterparts (PERC 4 and earlier).  Instead,   use the new LSI SAS RAID tools: MegaCLI, MegaRAID Storage Manager, MegaRAID SAS SNMP.

PERC 5 Controller Features  

Table 2-1.  PERC 5 Controller Comparisons

  

Specification	PERC 5/E Adapter	PERC 5/i Adapter	PERC 5/i Integrated
RAID Levels	0, 1, 5, 10, 50	0, 1, 5, 10, 50	0, 1, 5, 10, 50
Enclosures per Port	Up to 3 enclosures	N/A	N/A
Ports	2 x4 external wide port	2 x4 internal wide port	2 x4 internal wide port
Processor	Intel® IOP333 I/O processor with Intel XScale Technology	Intel IOP333 I/O processor with Intel XScale Technology	Intel IOP333 I/O processor with Intel XScale Technology
Battery Backup Unit	Yes, Transportable	Yesa	Yes
Cache Memory	256 MB DDR2 cache memory size	256 MB DDR2 cache memory size	256 MB DDR2 cache memory size
Cache Function	Write-back, write-through, adaptive read ahead, non-read ahead, read ahead	Write-back, write-through, adaptive read ahead, non-read ahead, read ahead	Write-back, write-through, adaptive read ahead, non-read ahead, read ahead
Maximum Number of Drives per Array	Up to 32 drives per array	Up to 32 drives per array	Up to 32 drives per array
Maximum Number of Arrays per Disk Group	Up to 8 arrays (in a spanned configuration)	Up to 8 arrays (in a spanned configuration)	Up to 8 arrays (in a spanned configuration)
Maximum Number of Virtual Disks per Disk Group	Up to 16 virtual disks per disk group RAID 0=16 RAID 1=16 RAID 5=16 RAID 10= 1 RAID 50=1	Up to 16 virtual disks per disk group RAID 0=16 RAID 1=16 RAID 5=16 RAID 10=1 RAID 50=1	Up to 16 virtual disks per disk group RAID 0=16 RAID 1=16 RAID 5=16 RAID 10=RAID 50=1
Multiple Virtual Disks per Controller	Up to 64 virtual disks per controller	Up to 64 virtual disks per controller	Up to 64 virtual disks per controller
Support for x8 PCI Express host interface	Yes	Yes	Yes
Online Capacity Expansion	Yes	Yes	Yes
Dedicated and Global Hot Spares	Yes	Yes	Yes
Hot Swap Devices Supported	Yes	Yes	Yes
Non-Disk Devices Supported	No	No	No
Mixed Capacity Physical Disks Supported	Yes	Yes	Yes
Hardware Exclusive-OR (XOR) Assistance	Yes	Yes	Yes
aThe PERC 5/i Adapter supports a battery backup unit (BBU) on selectedsystems only. See the documentation that shipped with the system foradditional information.

云杉上的蝴蝶

我个人的意见还是对于存放在物理服务器本机的虚拟机的磁盘，磁盘冗余应该使用虚拟机自己操作系统的软raid 来做！
即 3个物理硬盘做3个独立的VD，创建3个ESX 存储卷，然后从每个存储卷上分配一个虚拟磁盘给虚拟机用，在虚拟机操作系统下再做Raid5.

对于共享存储，应该使用ZFS ！