存储革命进入数据中心：企业级闪存设备经验谈（获奖名单已公布-2014-10-15）

yunas

必须支持好活动，一如既往的支持~！

Nicoyo_lmn

谢谢瓜哥回复！
分享一个我最近弄的某个项目案例。某客户，生产中心4台IBM小机，十余台x86服务器。有多个厂商的SAN存储数台，存储虚拟化网关一台。灾备中心，4台小机，若干台x86服务器+VMware虚拟化，采用虚拟机方式对生产中心的物理机进行容灾。容灾管理采用虚拟化网关厂商提供的容灾管理工具，支持P2V容灾管理。小机系统使用HACMP进行容灾切换管理，灾备中心的小机跑另一部分业务，分担生产中心的压力，算是双活数据中心，但是不能并发访问。
目前遇到的问题：随着业务压力的增加，两边的存储系统性能无法支撑，由于业务多为OLTP类型，要求低时延，但是如果分别将现有的存储系统分别升级，比如更换控制器或者升级缓存、CPU，或者增加SSD+分层license的话，总体价格也不低，最重要的是需要同时维护多套SSD加速，运维成本也不低。为此，考虑了另一种方式，在虚拟化网关处挂接一台全闪存阵列，利用虚拟化网关上提供的加速功能，实现对后接存储的总体加速，在节省了运维成本的同时，整体造价也在可接受范围内，性能经过实测，不仅是缓解而且是彻底释放了业务的性能。

q1208c

回复 24# Nicoyo_lmn

racememory 正式发布了?

我一直在看, 但没看到有发布的消息.

如果这货能做到8bit, 并且可以量产, 那也算是计算机的一次革命了.
   

锅铁做

回复 32# Nicoyo_lmn

Hello,

首选，我认为这是一个很漂亮的方案。

其次，我比较关心的是您不能使用虚拟化网关的内置SSD来加速吗？非要单独连接Flash 阵列，莫非需求的IOPS能到百万级别。
   

锅铁做

回复 1# send_linux

可能是咖啡喝多了，今晚失眠 ，和大家讨论下话题也好！

讨论之前说几句前言：

如果单纯把SSD/ Flash作为一个产品来看，从目前的市场成熟度确实它只有两个价值：Capacity and Performance，而除此之外就是被大家揭发的种种"弊端"，所以很多SI应该深知做为一个产品很难让客户接受在IT行业，而相对的是什么？是——解决方案，我认为。如果SSD /Flash仅仅是一个解决方案中的组件，而我们已经通过其它组件规避了它的种种“弊端”，甚至包括采购成本，用户有何不可接受的？提前说一下，我目前所在的领域属于存储虚拟化！

1、你如何调整存储架构来更好的使用闪存？遇到过什么难题？

很多一部分项目，通过存储虚拟化技术把闪存与传统的HDD存储进行整合，然后利用敏锐的——存储自动分层技术，把热点数据放置在少部分的闪存上面，同时降级不经常访问的数据块至SAS存储——SATA存储——或更低性能的存储。<这里说的是永久性存储，而不是Caching>
坦白的说，真没用遇到什么难题，包括成本，这在下一个部分介绍。
2000年之前我会担心PCIe Flash无法做RAID，依靠文件系统级RAID又要评估应用主机性能是否够用，以及PCIe Flash厂商没有为AIX，Solaris，UX设计驱动，毕竟这些是占有率很高的商业系统..当然还有更多的顾虑。
关键在于，我会在应用主机与存储阵列(用户早期购买的)之间放入一台存储虚拟化网关，Flash /SSD安置在网关中，兼容性，RAID，全部有网关内的软件代为实现，然后通过FC或者其它链路给应用主机。总之，让SSD远离应用主机，能够规避很多问题，尤其是安全隐患。或者参考楼上网友提供的拓扑图，如出一辙。


2、请分享从SATA SSD 盘转换到PCIe SSD盘的经验。

相反的，我是从PCIe 转向的SATA SSD，早期很多case我倾向使用的是PCIe SSD，因为潜意识认为够安全，够企业级，由于战略合作能拿到更低折扣，已经在美洲有更多的CASE可以借鉴，比如和德州闪存-TMS的合作等等。但是后来部分CASE预算吃紧，使用了大部分SATA SSD，其它原因在于能够支持热拔插，方便在线更换。
不过就像之前强调的，这是一个方案，在我们的项目里安全等级是一样的比较PCIe SSD，磁盘之间使用RAID 1，而虚拟化网关是多台集群，也就说大家担心SSD坏了怎么办？坦白的说即使整个节点都烧掉，业务都是不中断的。

3、在那<哪?>些应用场景应该放弃传统硬盘而选择闪存？ 哪些哪些场景不应选用闪存？

我个人从来没有建议用户，因为选购了某些产品从而再摒弃哪些产品，我认为这是自己产品的缺陷，相反的我建议用户继续使用传统硬盘或存储，并且与新采购的SSD做整合，从而提高整体存储资源的性能，延长因性能不足而带来的淘汰期限。而且，通过2014年今天来看SSD与HDD仍然有很大的价格落差，其实两者如果能够相容是一个最乐观的结果。
"选择适合闪存应用的场景"？在有些项目，我认为这并不是一个可选项，而是必须的。目前HDD 15k的转速已经极限了，而链路我们有16Gb FC,INFINIBAND 40/56Gb,当然还有些我不知道的更快连接技术，同时我们业务需求并没有HDD到达极限而止步，尤其是虚拟化的引入，私有云建设，请问，当最终用户跟我们要50万个IOPS来支持大规模的VDI时候，我们仍然推荐给用户传统的HDD存储吗？1颗磁盘跑200IOPS，大批量的堆磁盘，直到满足50万个IOPS？？？

第二个问题：从销售角度来看，任何场景都应该选择闪存- -!其实文件存储，文件备份，非核心二线业务我觉得目前的HDD可以自给自足，尤其NAS。

4、对于你的应用场景而言，使用多大容量的SSD是合适的？小于256G,256G-1TB, 还是大于1TB?

对于我目前所有已落地的项目，75%使用是小于512GB容量的单颗SATA SSD，最初甚至是用100GB左右的，这可能跟我自身项目和产品特性有关。因为我用的是存储分层技术，大批量数据仍然在用户之前的HDD存储上面，SSD则需要很少部分空间放热点数据，5%？即使在扩展仍然是HDD 存储，DAS或者SAN。
但是我会使用很多颗SSD，比如10颗100GB做5个RAID 1，这样能过扩充Striping-spindles.
PCIe类型的是900GB左右容量占项目10%。

5、你使用的SSD是2.5吋盘，PCIe 卡， M.2 SSD 还是其他形式？为什么？

这绝对取决于性能需求与预算，因为前面有人提到了这个牌子-Fusion iO 这样就避免我在为他们做广告- -!，其实之前有使用过，但是价格真的很高，比起我所见过任何厂商的SATA SSD，所以通常是根据用户的预算和实际性能需求，选择何种特征的SSD。
PS，自从上年初和Violin打过几次交道，真是颠覆了我对存储性能的看法，那剩下的就是您的预算是多少？

6、SSD的耐写度有限制对你的应用场景来说是个问题吗？你更多是通过SSD读还是写？

首选，限制不是问题，关键是能导致什么？SSD寿命终结了？有些厂商SSD可以质保5年，按照大陆这边的资产管理政策，这5年的ROI已经回来了，尤其是我们当初是在HDD性能无法得到满足时我们采购的SSD，或者请看第7部分。
其次，我对业务读和写没有太深的经验，但是业务类型最多的项目是医院信息系统，中小型金融交易系统和制造业的虚拟化。

7、与当前在使用的存储方案相比（比如高端存储、SAN中低端存储），使用Flash闪存维护数据库每GB成本以及性价比上去了还是下来了？

如果是按照客户关系，强把产品塞进去的，那每GB的成本往往是高了- -!,当然这只是个玩笑.
我经手的项目成本绝对是下来了，这也是说服客户的理由，为什么要投入Flash。
道理很简单，多数人按照Per Capacity来计算成本，而Flash厂商的计算公式则是：Per capatity+Per performance，我认为这是一个合理公式。
假如50万IOPS大概需要2500颗优质的HDD，这2500颗HDD<成本？占地面积？消耗电能？需要投入多少冷却系统？维护人员多少精力？>X每年；
如今几块卡可以解决，这样算来其实得到了很多回报。前提是用户对性能有需求！

8、什么样的应用场景需要多种存储混合，NVMe 和机械盘或者SATA SSD?

其实按照我们自己的方案特色，只要有用户需要磁盘能够更快速的响应，更低的延迟，更高的IOPS，都是我之前提到的存储自动分层技术，或者说混合存储。
因为一，我们不希望用户提前报废HDD存储，二，我们也不希望用户在今后扩展全部绑定在Flash /SSD;所以，很多时候，混合-是双赢的结果。

9、NVMe作为缓存设备，会怎么使用？相比SATA SSD 有哪些优势？  

通过开源或者厂商提供的商业Cache软件，然后再对NVMe提供冗余，防止突发性掉电。
比SATA SSD更快速，因为接口特征。这不是我擅长的领域。

10、针对不同的场景， NVMe和CPU之间使用什么样的方式连接才是最优化的方式？或者NVMe连接到什么设备上才是最合理的连接方式？比如：服务器内单一的NVMe存储，不需要RAID卡，直接连接PCIe总线到CPU，还是中间使用PCIe switch？

我之前使用的是通过总线连接到PCIe的，关键还是取决于怎么用，这是一个无法直接面对的问题。   
2013年需要采购一台Server做虚拟化网关，Dell销售跟我说有种新型SSD，发布在12代的Server平台。我就听得糊涂，图片描述的形态像我熟悉的SATA SSD，但不能做RAID，还说是直连PCIe。代理商弄来以后，通过大概3颗SSD测试，在Random环境中轻松跑到100k IOPS，让人吃惊，立刻决定采购，直到2014年初才知道这是跟NVMe有关的第一个项目。
因此，通过这种项目中我到不希望使用RAID卡，绝对是选择CPU更近的距离免得吃掉太多性能，虚拟化网关可以代劳，同样规避组件故障，节点故障。
还是那句话，如果是真对一个产品来采购，直接用于应用主机，要用RAID卡。PCIe Switch？我没有见过，指的是INFIBND Switch？。

总结，其实，Flash /SSD这几年给我和公司带来很多好处，所以不觉得它有哪些让人畏惧的，丢数据不来自SSD，而是方案本质与预案措施。我也不认为它会取代什么，不过HDD因为自己的不争气则需要降职，至少在我这里已经降过几次了- -!；之前友商转过我的一些关于SSD帖子，我同样表明，只要恰到好处，SSD真是极好的。


挂张图吧，也把厂商名字都给抹掉了：

Nicoyo_lmn

1、        你如何调整存储架构来更好的使用闪存？遇到过什么难题？
在我接触的众多客户的架构里，存储系统一般是异构的，至少2家。在这种异构系统中使用闪存，就是目前遇到的最大的困难。
首先就是到底在哪里部署闪存，在存储设备中部署，异构存储每套都要部署，这就是花多份钱办一份事。
在主机端部署，又没有成熟的商用加速软件，不得不用开源的，windows server端的商用加速软件好像没有听说过谁有。
在主机端部署还需要停机，开箱插入flash卡，而且主机端部署的flash只能给该主机使用，又不能共享。
使用scale io这种server san解决方案倒是可以将多台主机的flash做成一个池，但这需要起码万兆网络互联才能跑出不错的性能，而且性能并不是所有flash卡性能之和，就算用40G以太网，也只能跑出50%就很不错了。
还有一个选择是在虚拟化存储设备上增加flash层，即不需要底层存储每个都部署一套，也可以避免在主机端部署flash导致的尴尬，目前来讲是个不错的方案，也有几个成功案例，效果不错。

2、请分享从SATA SSD 盘转换到PCIe SSD盘的经验。
目前用量最大的还是2.5 SATA SSD，方便，速度也能接受，五六万的读iops足够满足企业应用。
PCIe SSD指的应该是2.5寸那种吧？PCIE插槽那种flash卡虽然性能高，但是用起来的确不方便，最简单的例子，IBM小机就无法使用，没经过认证，没驱动，外形不匹配等，只能用在标准x86服务器里。
而2.5寸盘则可以通过io扩展模块接入。对于2.5的PCIe SSd就是nvme ssd，目前nvme ssd不多，感觉还没经过考验，最关键一点是服务器主板是否支持新型的物理接口，了解了一下基本没有，除了一两家，所以这方面需要静观其变，待成熟之后再说。

3、在那些应用场景应该放弃传统硬盘而选择闪存？ 哪些哪些场景不应选用闪存？
容量小，比如几百GB，但是要求性能非常高的场景，比如某个关键生产数据库，这种场景还是很多的。
之前的做法是使用SAN，但是SAN的性能和SSD相比简直就是天壤之别，价格贵的也离谱。
一块企业级SAS机械盘，三四千，一片几百GB的SSD，也差不多价格，企业级机械盘的性价比简直已经是鸡肋，但是传统SAN厂商对这块是有保护壁垒的。
对于这种关键高性能场景，多块SSD做冗余镜像保护，直接raid10，这样相比SAN来讲还是便宜，10块SSD，价格不过几万块，性能却可以达到二十万左右，调优一下三十万不成问题。
除了价格，固态盘目前最大问题是寿命，可写入总容量几十PB。对于那些需要大量写入、删除再写入的场景，比如视频监控，用SSD显然不合适，再者是容量要求太大的场景，比如网盘，也不可能使用SSD。那些数据量小但是性能要求很高的场景，元数据、索引、重删hash库等等，这些用SSD就非常合适，但是需要程序做对应的修改，将不同的数据放到不同的盘里。

冬瓜头

Nicoyo_lmn 发表于 2014-09-14 20:17
谢谢瓜哥回复！
分享一个我最近弄的某个项目案例。某客户，生产中心4台IBM小机，十余台x86服务器。有多个厂 ...

这个案例不错，具有很强的参考性。

冬瓜头

锅铁做 发表于 2014-09-20 03:07
回复 1# send_linux

可能是咖啡喝多了，今晚失眠 ，和大家讨论下话题也好！

说的不错。我也觉得pcie标卡形态不会太长久。

冬瓜头

Nicoyo_lmn 发表于 2014-09-22 19:00
1、        你如何调整存储架构来更好的使用闪存？遇到过什么难题？
在我接触的众多客户的架构里，存储系统一般是 ...

观点非常赞同！

jackson198574

回复 37# 冬瓜头


    冬瓜头大哥也在呀~~~