悬赏50X币实战求助：vmware esx server3下raid5硬盘扩容

云杉上的蝴蝶

esx 不就是个Linux ！
你应该是做的硬件raid吧！
你那个所谓的扩容软件应该也是调用硬件阵列卡的API 实现在线扩容的吧！
你现在是要将3块盘的raid5 升迁到4块盘的raid5，而且最好不重启服务器是吧？
是不是ESX 装在硬件raid1 的虚拟卷上，剩余空间创建的ESX 存储卷（池）放虚拟机系统盘，另外一个硬件raid5 的虚拟卷做另一个ESX 存储卷放虚拟机数据盘？

云杉上的蝴蝶

看了一下dell官方论坛的帖子，如果客户允许暂停服务器的话那做起来应该比较轻松。
IBM 和HP 的磁盘整列卡都可以在保存现有数据的情况下向现有raid5 整列（VD）添加新的磁盘以实现扩容！
Dell 的卡用的是LSI的控制芯片，应该功能和IBM 的server raid 8i 、HP 的Smart array 差不多！



比较笨的办法是买3块更大容量的盘可以尝试换盘，（即假想Raid5坏一块盘的情况）一块块换。都换完后，3块盘都会多出一块空闲的空间，再做一个raid5 VD，用新的VD做一个新的ESX存储卷。
但是Raid5 在数据重构的时候虽然可以不中断服务但是性能是很差的，所以机器上虚拟机提供的服务可能会出现慢掉等于没有的情况。
所以最好是停掉虚拟机，重启后进到整列卡的配置模块里去添加磁盘。
不久完了！

可惜ESX用的不是ZFS 否则就简单多了！

云杉上的蝴蝶

The PERC 5 SAS RAID adapters cannot use the   same LSI management tools as their SCSI RAID counterparts (PERC 4 and earlier).  Instead,   use the new LSI SAS RAID tools: MegaCLI, MegaRAID Storage Manager, MegaRAID SAS SNMP.

PERC 5 Controller Features  

Table 2-1.  PERC 5 Controller Comparisons

  

Specification	PERC 5/E Adapter	PERC 5/i Adapter	PERC 5/i Integrated
RAID Levels	0, 1, 5, 10, 50	0, 1, 5, 10, 50	0, 1, 5, 10, 50
Enclosures per Port	Up to 3 enclosures	N/A	N/A
Ports	2 x4 external wide port	2 x4 internal wide port	2 x4 internal wide port
Processor	Intel® IOP333 I/O processor with Intel XScale Technology	Intel IOP333 I/O processor with Intel XScale Technology	Intel IOP333 I/O processor with Intel XScale Technology
Battery Backup Unit	Yes, Transportable	Yesa	Yes
Cache Memory	256 MB DDR2 cache memory size	256 MB DDR2 cache memory size	256 MB DDR2 cache memory size
Cache Function	Write-back, write-through, adaptive read ahead, non-read ahead, read ahead	Write-back, write-through, adaptive read ahead, non-read ahead, read ahead	Write-back, write-through, adaptive read ahead, non-read ahead, read ahead
Maximum Number of Drives per Array	Up to 32 drives per array	Up to 32 drives per array	Up to 32 drives per array
Maximum Number of Arrays per Disk Group	Up to 8 arrays (in a spanned configuration)	Up to 8 arrays (in a spanned configuration)	Up to 8 arrays (in a spanned configuration)
Maximum Number of Virtual Disks per Disk Group	Up to 16 virtual disks per disk group RAID 0=16 RAID 1=16 RAID 5=16 RAID 10= 1 RAID 50=1	Up to 16 virtual disks per disk group RAID 0=16 RAID 1=16 RAID 5=16 RAID 10=1 RAID 50=1	Up to 16 virtual disks per disk group RAID 0=16 RAID 1=16 RAID 5=16 RAID 10=RAID 50=1
Multiple Virtual Disks per Controller	Up to 64 virtual disks per controller	Up to 64 virtual disks per controller	Up to 64 virtual disks per controller
Support for x8 PCI Express host interface	Yes	Yes	Yes
Online Capacity Expansion	Yes	Yes	Yes
Dedicated and Global Hot Spares	Yes	Yes	Yes
Hot Swap Devices Supported	Yes	Yes	Yes
Non-Disk Devices Supported	No	No	No
Mixed Capacity Physical Disks Supported	Yes	Yes	Yes
Hardware Exclusive-OR (XOR) Assistance	Yes	Yes	Yes
aThe PERC 5/i Adapter supports a battery backup unit (BBU) on selectedsystems only. See the documentation that shipped with the system foradditional information.

云杉上的蝴蝶

我个人的意见还是对于存放在物理服务器本机的虚拟机的磁盘，磁盘冗余应该使用虚拟机自己操作系统的软raid 来做！
即 3个物理硬盘做3个独立的VD，创建3个ESX 存储卷，然后从每个存储卷上分配一个虚拟磁盘给虚拟机用，在虚拟机操作系统下再做Raid5.

对于共享存储，应该使用ZFS ！

云杉上的蝴蝶

回复 12# liujialijingxia


   有的阵列卡一定要做VD 才行，不能只作为接口扩展卡用，所以跳过硬件整列卡，在虚拟机操作系统下做存软件raid。
或者阵列卡在每个物理硬盘上创建一个或多个简单卷类型的VD，在虚拟机操作系统下做软件raid.

或者硬件阵列卡只创建多组raid1 VD ，虚拟机操作系统下不做软raid，但将多个虚拟磁盘分不到不同的VD上

另外我给你一个建议：
客户那不是有存储服务器吗？
你可以给先在存储服务器上创建多个和现在虚拟机的数据盘容量相同的虚拟磁盘，挂到虚拟机系统下，做软件raid1 。
数据同步完成后原来在ESX服务器 raid5 盘阵上的虚拟磁盘就可以安全得从虚拟机上移除（离线/offline)。
如果ESX 没法不停虚拟机动态添加新磁盘的话，可以通过iSCSI ，（给虚拟机安装iSCSI initiator 软件然后直接挂存储上的共享出来的iSCSI磁盘）.
把所有的虚拟机数据盘与新加的放在存储服务器上数据磁盘做完镜像后，ESX 本机的虚拟机机数据盘全部从虚拟机离线，这时原来的阵列就没有操作了，所有做raid5换盘对虚拟机运行时的IO性能不会造成很严重的影响，当然iSCSI 和ESXi 本机的虚拟磁盘比性能损失肯定是有一点的，但至少比raid5 换盘时整列卡做全盘扫描时的性能影响要小很多！
当然，这个时候你也完全可以对raid5卷进行重建。
重建raid5 然后创建虚拟磁盘挂到虚拟机上，再和存储服务器上的数据盘做镜像，以便把虚拟机的数据磁盘从存储服务器“迁”回ESX 服务器本机所花费的时间和你通过Raid5换盘（换3次，修复三次）然后利用每块新磁盘剩余空间创建另一个raid5来实现扩容的方法比，最多只需要50%。

其实就算你用dell 的web配置工具来升迁3块盘的RAID 5到4块盘的Raid 5 ，也是要做全盘扫描重新分布数据和计算校验值的。
这个过程可能需要十几个小时，这期间你的虚拟机性能一样会很差！

云杉上的蝴蝶

如果你根据我的建议来做，有些虚拟机的数据盘就没有必要再“迁”回 ESX 服务器本机了！

你说你客户的ESX服务器上又7个虚拟机，就算4块盘的raid5 IOSP最高也就1500~2000 左右，平均每个虚拟机是200~300 ，相当于每个虚拟机使用一块独立的物理15K磁盘的性能。（这个是极理想情况下的最高性能，平均的话估计得打5~7折）
你可以找业务不是很关键的那台虚拟机来测试挂iSCSI 磁盘后的性能，然后你就知道我说的方案对于你客户的应用是否是最佳方案了！

云杉上的蝴蝶

回复 16# liujialijingxia


    iSCSI 有专用的ｉＳＣＳＩ网卡，也可以使用ｉＳＣＳＩ软件来实现。
    现在windows、linux、solaris 都有各自的iSCSI Target（服务器端）和iSCSI initiator （客户端）软件，其实就是通过软件虚拟iSCSI HBA卡，而后绑定某个网卡后使用专用的IP端口进行通信！

软件模式因为需要将磁盘操作的SCSI命令打包成IP数据包进行发送，在存储端解包后再发送到磁盘控制器执行，所以会消耗一定的CPU计算资源。
我说使用iSCSI的方法是在ESX没法动态为虚拟机加磁盘的情况下使用，从效率上讲将存储服务器上的共享目录挂到ESX服务器上然后存放虚拟机的虚拟磁盘文件应该会快一些！

因为你说客户不希望停机，那就只有通过加镜像磁盘进行异地存储的方式来保证虚拟机的正常运作，然后安全得离线原有的本地硬盘后进行磁盘raid的调整工作，虽然操作步骤比较多，可能让人觉得繁琐，但笨办法一般都比较稳妥，保证虚拟机不停，数据不丢失，暂时少量的性能损失用户应该还是可以接受的！