存储革命进入数据中心：企业级闪存设备经验谈（获奖名单已公布-2014-10-15）

send_linux

dengbao2001 发表于 2014-09-26 14:47
这次的奖品真是高端上档次呀

欢迎大家积极参与哦～

bbjmmj

重赏之下必有勇夫

renxiao2003

分享从SATA SSD 盘转换到PCIe SSD盘的经验。

要从SATA SSD盘转到PCIe SSD，首先得明白这两者之间的区别和各自的优势。

SATA SSD跟我们常见的硬盘没有太大的差别，其好处也差不多，可以热插拔，前端易于维护。就性能方面而言，其明显高过普通的HDD，但离PCIe SSD的性能差距较大，尤其是面向企业级的SSD。

普通的万转SAS HDD的IOPS在100多一点，1.5W转的大概在200左右，即使有排队，其离SATA SSD的动辄几万的IOPS明显不是一个数量级的，而PCIe SSD的IOPS一般能达到几十万，甚至上百万。所以从SATA SSD转向PCIe SSD的原因不言而喻。

此外，还考量的因素在于：

SATA 3.0基本不能发挥SSD的优势，估摸着400G大小的SSD，基本就能占满其接口带宽，这就局限了SSD的容量，再多的容量，也不能增加更高的IOPS。而单纯将SSD用作容量型存储的话，目前看来，还比较奢侈。

所以，相对于SATA SSD，PCIe SSD拥有更高的接口带宽，可以做到更大的容量（比如目前比较流行的3TB以上）。当然，PCIe SSD因为是插在机箱内部，需要开箱维护，有些麻烦。

简单对比一下实际测试，用微软的ESRP进行测试，这个测试是模拟一个邮件服务器环境，对计算能力要求不高，对存储系统的IOPS、响应时间和容量都有较高的要求。

两款SSD做对比：一款是三星的800GB SATA接口硬，另一款是1.2TB的英特尔PCIe SSD。都用做ESRP测试中的数据库盘。
ESRP在测试的时候是可以手动设置测试因素的，所以我每个邮箱分配了1个IOPS（这远远高于实际应用），容量可以设置小一些，因为主要是测试IOPS和响应时间。

基本上三星的SATA SSD在8000邮箱的时候就跑满了，IOPS还有提升空间，但响应时间……这应该主要是SATA接口的原因。
而PCIe SSD基本上能跑满3W个邮箱……差距不言而喻。

renxiao2003

与当前在使用的存储方案相比（比如高端存储、SAN中低端存储），使用Flash闪存维护数据库每GB成本以及性价比上去了还是下来了？

高端存储没怎么玩过，但分享一个不高端的，但还算比较典型的案例吧。

朋友的一个项目，就是目前比较火的互联网金融，类似阿里的余额宝，名字就不方便透露了。

最开始是用的几台服务器，加一台千兆以太网交换机，另外用的是红帽的开源GlusterFS做分布式存储。这年头，互联网金融比较火，他们也做得比较成功，所以用户量一下子就上去了，峰值的并发访问就承受不住了。

网络出现瓶颈了，然后将千兆升级到万兆，性能基本上提升了10倍，但随后存储就有瓶颈了，主要就是响应时间比较慢，对IOPS要求也越来越高。

最终换成SSD，做缓存。解决问题。

其实从这个案例来看，其升级的成本都比较低，而且没有改变现有架构，也没有添加新的设备进来，影响比较小。如果按照传统的解决方案，十几万的IOPS一般都会引入一台共享存储，升级就会比较复杂，SAN存储的价格就不用多说了吧。

个人认为，尽管闪存的每GB成本比HDD贵，但是从IOPS方面去考量的话，就比HDD便宜太多了。一个HDD约200 IOPS，PCIe SSD就算10W，要堆多少个HDD？这成本贵了去了。

举一个高端的例子，当然属于yy的，没有实际对比过。

EMC的高端存储VMAX 3能提供多少IOPS？成本多少？至少几百万上千万吧？

而换成闪存的话，IBM的Flash System闪存系统，2U机架提供100W IOPS，按IOPS来算的话，不知道便宜到哪儿去了。即使是按EMC的XtremIO来算（5U机架提供25W IOPS），也便宜多了。

renxiao2003

SATA/SAS  SSD 本身的局限在于其接口以及协议，从目前来看的话，SATA Express的发展暂不明朗，主要问题在于更加偏向于消费级产品。从长远来看的话，SATA向更具发展潜力的 NVMe是必然的趋势，至于这个时间有多久，还待定。

而PCIe协议的优点在于其协议本身，PCIe 2.0的带宽就已经很高了，PCIe 3.0带宽更高，这对SSD而言，都是很好的选择。SSD的优势在于其不像机械硬盘那样需要有固定的外形，其是有很小的NAND闪存颗粒组成，这样的话，就决定了其形状可以有多种变化，不必拘泥于一种固定的类型。

确实，如上所说，PCIe SSD的延时具有天然的优势，靠近CPU，而且从目前Intel的CPU发展情况来看，尤其是E5 v3的发布，可以看到高内核、大容量L1、L2缓存是趋势，甚至有必要增加L3缓存。这样来看的，越靠近CPU，越能发挥闪存的优势，如之前就有公司推出采用DIMM接口的闪存，这种原本用于内存的接口，现在用在SSD上，所以我觉得，PCIe SSD，甚至更靠近CPU的SSD，其越能发挥去优势。

而SATA/SAS SSD总是要经过一次协议转换的，当然从时间上来看，这点延迟影响并不大，但终归是没有太大必要的，而这应该也是NVMe取代SATA/SAS接口的地方。至于后续的SAS Express或者SAS Express Over PCIe，我觉得可能还有待观察。

Nicoyo_lmn

今天从我们另外一个项目经理那看到了一块flash卡，很激动，又有发帖素材了。Memblaze的PblazeIII，2TB容量。性能据说可达100万IOPS！太夸张了。
这个项目主要是用某Server SAN 软件配合flash卡，用多台server搭出一个全闪存server san来，细节不好透露，毕竟是项目。
我印象中国产货的做工应该是比较山寨那种，但是这块卡明显不一样，做工看上去很高档，包装也很像那么回事，很唬人！
就是不知道性能实测到底会如何。废话少说，上图了！拆开散热片之后，密密麻麻的flash颗粒，用的是东芝颗粒。蓝色硅胶下面是两个控制，看来因为容量太大，不得不用两片控制器。
问了一下同事，说目前还不支持NVMe，需要安装独立驱动程序。
它的flash颗粒是使用类似子卡的形式插到板子上的，但是缺乏对应工具，没有继续拆卸，也不太敢再弄了，毕竟也是几万块的东西，弄坏了可赔不起，几个月不用吃喝。。

Nicoyo_lmn

再贴一个某实际用户对NVMe盘的实测数据，谁家的盘就不方便透露了。

renxiao2003

在某省移动公司使用闪存的项目中，主要利用的还是闪存的写操作。因为大量的通话记录要快速的写入到数据库中，客户才能快速的查询到自己的实时通话记录。而查询的频率远没有产生通话记录的频率高。所以利用闪存存储后，通话记录能快速的写入。由于受存储量的限制，在通话记录会定期的转储到分区表中，对于历史记录的查询一般来说速度只要正常就足够了。

wq4113

3、在那些应用场景应该放弃传统硬盘而选择闪存？ 哪些哪些场景不应选用闪存？
     如果应用性能是否受到了存储IO瓶颈的影响，那应该放弃传统硬盘而选择闪存，如果不是可不选
4、对于你的应用场景而言，使用多大容量的SSD是合适的？小于256G,256G-1TB, 还是大于1TB?
     大于1TB，我的场景是大业务并发
5、你使用的SSD是2.5吋盘，PCIe 卡， M.2 SSD 还是其他形式？为什么？
     2.5吋盘或PCIe 卡，2.5盘基本满足要求，价格能承受；PCIe 卡主要用于高端服务器的性能测试
6、SSD的耐写度有限制对你的应用场景来说是个问题吗？你更多是通过SSD读还是写？
     不是，RAC场景读多写少
7、与当前在使用的存储方案相比（比如高端存储、SAN中低端存储），使用Flash闪存维护数据库每GB成本以及性价比上去了还是下来了？
     上去了
8、什么样的应用场景需要多种存储混合，NVMe 和机械盘或者SATA SSD?
     对IO和延时有着很高要求的业务关键应用，那些业务关键应用的数据需要在很长的时间里保持活跃，而且无需与其他的应用程序共享存储资源；有些应用对IO处理能力的要求比传统硬盘阵列能够提供的IO处理能力更高，同时它们又会产生大量的数据，在这种情况下，它们最好是使用混合阵列

冬瓜头

Nicoyo_lmn 发表于 2014-09-26 23:19
再贴一个某实际用户对NVMe盘的实测数据，谁家的盘就不方便透露了。

挺接地气的。