8disk的raid10 or 20disk的raid5?

ansi

存储设备是:HP MSA2312FC + 24 个450G SAS硬盘+StorageWorks 交换机

要接存储的服务器，是3对，6台。

第一对：oracle数据库

第二对：主要用作tomcat的cluster，大约会有10个tomcat的实例，两个服务器一样的，所以应用的数据放在存储上，两个服务器同时访问。

第三对：kvm虚拟机，每台服务器大约6个，未来还会增加，虚拟机放在存储上。

现在要对存储做raid，有几个地方不明白。

磁盘阵列考虑这样分配

24 个450G磁盘

8个磁盘做raid10，得到1.8T容量，给数据库服务器
2个磁盘做数据库的热备？或者热备需要4个磁盘？


余下的12个磁盘中

10个磁盘做raid 5，得到4T容量
2个磁盘热备

4T的容量，tomcat1、tomcat2共同分配1T，kvm1，kvm2共同分配1T

剩余2T容量，不分配

这个是否合理？

8个磁盘做raid10的性能与统统把20个磁盘一股脑做成raid5的性能是否有差别？

我记得，如果20个磁盘做raid5，那么写数据的时候，是20个磁盘同时写，这样是不是比8个磁盘的raid10要快？

另外像tomcat1，tomcat2两个服务器，同时写存储上的同一个文件夹，是否另一个立刻就能看到？

RAID5的部分,是20个磁盘一次性作一个RAID5好,还是根据容量需要每3。4个作一个RAID5好?不用的容量就这样先留

云杉上的蝴蝶

不知道你的存储服务器有多少个SAS控制器，理论上至少有3块8端口6G接口速率的SAS Adaptor（HBA）。
建议添加3块4端口的LSI 6G端口 SAS Adaptor 成本大约3000块！

存储规划：
Oracle 数据库
HBA 1和2 分别接4块磁盘，不需要做raid ，可能的话直接使用E-SAS 连接直接共享给Solaris 系统的两台数据库服务器。
数据库服务器挂载后做两组Raidz2 或一组raidz2 + raid 0.
命令：zpool create poolname raidz2 c1t1d0 c1t2d0 c2t1d0 c2t2d0 raidz c1t3d0 c1t3d4 c2t3d0 c2t4d0
raidz2 相当于raid 6 （允许4块盘同时有2块失效）也就是做raid60
对性能要求高的话服务器本机加2块80G SSD做raid 0 用于ZFS L2 RAC，实现80G 120K IOPS 以上的工作数据区。
有条件再加两块SSD 用于ZFS ZIL（同步写入速度均衡缓存）。

如果没有可能数据库用solaris ，建议HBA1 和HBA2 分别挂4块盘做两组raid 10，每一组划分多个逻辑卷使用不同的块大小进行格式化，然后手动设置数据库，将不同DB blcok size 的数据文件分布到不同的逻辑卷上。在数据库服务器本地用ASM或其他方法对两组不同物理磁盘的逻辑卷进行raid 0 模式操作。

比如把用于8k DB block size数据文件的asm磁盘和16 或32 k DB block size数据文件的asm磁盘 放到单独的Raid 10 磁盘组上！同时可以考虑把默认的DB block size 从默认的8K 增大到16k 。具体还看你的应用。总之用Solaris 做数据库的底层OS ，文件系统的性能和安全性都比你8块盘的raid10 高！特别是应用SSD 做磁盘缓存后，5000 RMB一块80G的SSD 性能相当于100块15K SAS的raid 0.但是SSD 应该尽量与业务服务器进行直接本地连接，否则应为光纤等数据链路的延时会导致SSD每秒损失上百次的有效IO操作。

对于tomcat 服务器，用HBA3和4接8个磁盘做一组独立的raid10.
VM 应用使用HBA5和6做两组raid10 ，将不同虚拟机的磁盘分布到两组riad10 上，避免和尽量减少虚拟机间磁盘竞争的情况发生！


建议安装Solaris，服务器本机加

云杉上的蝴蝶

回复 1# ansi


    另外raid10 和raid5 比，从概念上讲raid10 是两块盘一组先mirror后再做raid0 读性能相当于4块磁盘的95%~98%。（控制器计算等损耗假设2%~5%）

raid 5 的结构比raid 10 复杂，虽然理论上同样4块盘的raid5 写入性能相当于3块盘左右比raid10 理论上快30% ，但是我个人不建议使用超过7块盘以上的raid 5，4~5块盘的raid5综合性能最好。raid5盘越多对控制器的要求就越高，个人认为那是纯粹浪费钱。如果你觉得raid5 够可靠可以在业务机的操作系统下对两组4块盘的raid5 做软件raid0 即raid50！

从存储安全性来说4块盘的raid10 和7块盘的raid5 是一样的，如果一组raid10 中一组raid1 的两块盘同时失效，和7块盘的raid5 坏2块盘的结果是一样的。太多磁盘的raid5 是很危险的存储方案！

个人认为24块盘分3组8块盘的raid6组成raid60 安全性和性能是最佳的配置。
而zfs 就能轻易得实现这种组合。
其实非常追求性能的话完全可以吧zfs的check sum这项数据校验和自动恢复功能关闭，之前很多测试数据显示ZFS性能不佳都是check sum 和ZFS 的record size （block size）过大造成的。

ansi

存储服务器自己能接12颗硬盘，另外带了一个扩展柜，接12个硬盘。
6台服务器的操作系统都是Linux，radhat es 。
oracle服务器是利用lifekeeper实现主备模式的双机。
每一个tomcat实例，都是同时在两个服务器各运行一份。
KVM的虚拟机，在虚拟机内部，不存储数据，只运行程序，当一个服务器的某个vm出问题，可以在另外一台服务器上面快速启动相同的vm

仔细阅读了上面的建议后，重新确定策略：

4个磁盘做raid10，做两组，使用8个磁盘，同时挂在两台oracle服务器上，根据业务将数据库文件分别放在两组radi10上。

tomcat的服务器，主要是读，还会存大量的音频、视频文件，6个磁盘，做一组raid5，挂到两台服务器上。

两台VM服务器，做两组4个磁盘的raid10，各挂到两台服务器上面。每个VM在两组raid10上面，各存一份，定期互相备份。

2个磁盘做全局热备。

这样是否合理？