存储咨询

chun290

现在公司要上一个项目，每天的数据750g 要求数据保存至少180天，不知到像这样的项目有没有人经手过，帮着给存储建议，用途是olap。多谢

云杉上的蝴蝶

\n\n机器完全可以自己配，买泰安的5U机箱（能装32块盘的那种）\r\n\r\n数据库放到solaris 的存储服务器上\r\n工作数据集的存储服务器或主要群集节点的数据库服务器：\r\n2路或4路的xeon 5600\r\nIntel的服务器主板（自己带4个千兆口，另外加3两口2口的intel 服务器网卡）\r\n8端口的LSI 6G SAS HBA *4 \r\n这样总共8个口\r\n至少16~32G的内存\r\nintel X-25M 或kingston贴牌的SSD Now 160G的 20块 \r\n+ 12块seagate Cheetah® NS 10K G的 SAS（300G的2块+600G的10块）\r\n装solaris 做iSCSI SAN ，以iSCSI 方式共享各个节点的本地存储资源作为ASM的裸设备\r\n\r\n2块10K SAS磁盘装系统（solaris安装程序会自动配置为2块磁盘镜像模式的ZFS root pool，\r\n另外10： 8块做raid 10 创建一个数据存储池，剩下2块设置为热备用磁盘\r\n实际数据存储区容量为8*600/2 = 2.4T\r\n\r\n12块SSD （MLC NAND的就行）做类似raid10配置 设置为ZFS L2 RAC （读缓存）有效容量160*6=960GB\r\n8快SSD （要SLC NAND的） 做mirror 设置为ZFS ZIL（写缓存）有效容量 160*4=640GB\r\n\r\n10个千兆网卡分3组 两组绑定4个千兆口得到两个4G的链路，更具需要设置IPMP 拥有iSCSI 数据链路\r\n另外2个千兆口用于 RAC数据库节点的心跳！\r\n\r\n这样的配置基本上你1天的数据都在数据库节点本机的上万IOPS的SSD里缓存着，2.4T的10K SAS 存储池可以保持你3天内最新的数据。\r\n最快有1000的IOPS\r\n其他的额外存储服务器\r\n基本的思想一致，还是应用ZFS混合存储池\r\n但是SSD只有在最接近数据实际操作者的地方才能发挥最大的效率，否则网络延时等因素会浪费大量的IOPS\r\n所以对于额外的历史数据的存储服务器可以减少SSD的使用，并且使用大容量的SATA来创建iSCSI磁盘底层的ZFS 混合存储池\r\n\r\n比如：\r\n\r\n2路的xeon 5600\r\n\r\n4块SSD （MLC NAND的就行）做类似raid10配置 设置为ZFS L2 RAC （读缓存）有效容量160*2=320GB\r\n4快SSD （要SLC NAND的） 做l类似raid10配置 设置为ZFS ZIL（写缓存）有效容量 160*2=320GB\r\n\r\n32个驱动器位还剩下24个，用22块2T的SATA \r\n2块装系统，剩下22块做类似raid10 的配置（其中2块热备）有效容忍2*10=40TB\r\n\r\n750G * 180 =135T 4部上述的存储服务器就够了

云杉上的蝴蝶

160G SLC NAND SSD 的价钱其实和300G 15K SAS的比还便宜\r\n1个SSD的IOPS最高可达到100个15K SAS 做raid 0 的效能！\r\n\r\n这类企业级SSD的读取速率至少是200MB/s ,写至少有150MB/s  5000秒就可以完成750G数据的写入\r\n安装数据库服务器主机的配置，整个一天的工作数据集都在SSD里缓存着，配32G内存的话，你保留2G给系统，16G给数据库14G给系统做ZFS RAC （ZFS 的内存缓存，相当于那些HBA卡上的板载缓存），\r\n如果你是3个RAC节点加4台额外存储服务器的环境总共也就7台5U的机器就够了！\r\n\r\n只要使用分区表，把不同分区的表空间分不到4台额外的存储服务器上，基本上一天大部分的时间你的数据都在SSD里，常规磁盘的负载会比传统的磁盘阵列清很多\r\n而且基本上ZIL 写缓存和ZFS的顺序写入优化功能开启后，绝大部分的写操作是顺序写，可以充分发挥磁盘的性能在最短的时间内完成数据的写入操作，从而保证读擦着的高效率！

云杉上的蝴蝶

\n\n自己配的话一部机器大概15~25万的样子，看你用多少块SLC 的SSD 和多少个处理器\r\n4路的板子比2路的要贵不少！\r\n操作系统用opensolaris 是免费的\r\n想简单可以买NextenaStor的企业版，1000美金1套。\r\n不要对这种solairs 内核和Linux shell 的混淆系统有偏见，基本美女都是混血混出来的！\r\n\r\n因为SSD的操作方式和本身的特性，写操作的频率决定他的寿命，所以作为ZFS写入缓存（ZIL）我们建议用SLC NAND的产品，读缓存（ZFS L2ARC）用比较廉价的MLC NAND的产品就可以了，当然有钱最好是都用SLC的。\r\n\r\n个人觉得对自己技术自信的话没有必要买oracle的这类产品！\r\n\r\n另外希捷的SSD和传统硬盘的混血硬盘产品也是不错的选择\r\n比普通的硬盘大概贵25% ！\r\n准备明年回去搞几块试试！

云杉上的蝴蝶

简单算下成本\r\nKingston 4GB 1066MHz(PC3-8500) DDR3 ECC CL7 DIMM 4R, x8 w/TS(INTEL) 是200~300美金 \r\n算他2000RMB *8= 16000\r\nLSI 6Gbps 8 port的HBA是 2800 *4=11200\r\n160G SLC SSD 5000 *12=60000\r\n160G MLC SSD 3000*8=24000\r\nseagate Cheetah® NS 10K SAS 亚马逊的报价500美金 大约3600RMB *24=86400\r\n整个存储部分的费用是16000+11200+60000+24000+86400=19,7600 算他20万！\r\n其他的CPU，主板，机箱，电源，散热器加起来不可能要5万吧？\r\n5万都能配上APC的机架式UPS了\r\n\r\n100块Cheetah® NS 10K SAS 要36万 还不算HBA卡的价钱要4个5U的机箱，这就是传统的产品\r\n性能就是一个5000块的SSD的水平！:ke:\r\n\r\n要达到同样的读取性能要600块 10K SAS

chun290

十分感谢 云杉上的蝴蝶 的方案

klin121628

135T容量，做到并不困难。但是要达到什么样的性能和可靠性要求，就不好说了。DIY拼凑的方案，可靠性有很大隐患

michael1983

蝴蝶太猛了，直接给DIY出一套硬件来。\r\n不过如果楼主那边没有技术比较强的人，这样的DIY架构做出来也很难维护啊\r\n所以还是建议买一个专业的存储吧\r\n请问楼主保留的数据还需要经常访问不？如果不经常访问，用nas或iscsi 配上1TB的SATA硬盘即可。\r\n生产数据可以用FC或SAS盘