- 论坛徽章:
- 4
|
本帖最后由 rickcafe 于 2014-09-30 23:46 编辑
奖品好重，先学习一下。
--
使用企业级闪存设备的经验交流：
1、你如何调整存储架构来更好的使用闪存？遇到过什么难题？
主要是从应用需求、性能、成本、技术成熟度、品牌市场影响力等几个方面考虑使用闪存。
在某些应用中，可以在服务器中使用闪存（SATA SSD 或 PCI-E SSD），在有些环境下，可使用混合阵列（SSD+机械硬盘+自动分层管理；或外部存储虚拟化），或者选择全闪存阵列。
可能遇到的难题分很多：
1、 成本/预算 vs. 性能问题，如何平衡？这是个售前问题。
2、混合阵列闪存盘配置模式的最佳实践问题，这是厂商经验问题。
3、全闪存阵列选型中应用性能分析问题，是慢在IO上，还是其它方面？这是针对用户需求和科学性能分析问题。比如某个ERP应用或数据库应用，跑的非常慢，就需要读取数据字典或其它系统数据进行性能分析，看看是不是慢在磁盘IO上，如果是，则考虑升级为全闪存阵列；如果不是，也别浪费钱。有些应用写的太烂，是应用设计问题，与IO、CPU、内存无关。
2、请分享从SATA SSD 盘转换到PCIe SSD盘的经验。
还没转换过。笔记本上用过消费级的SSD硬盘、mSATA硬盘，项目中用过SSD硬盘，没有用过PCIe SSD硬盘。
但从资料上看，PCI-E SSD取代SATA SSD是一种趋势。
首先SATA SSD，包括SAS SSD，都是模拟磁盘接口协议（SATA/SAS），再通过HBA（SATA/SAS）卡/阵列卡（RAID卡）/阵列中的设备接口（现多为SAS接口）与服务器或阵列控制单元互连，多了一层没必要的协议转换，而且受限协议接口速率限制，比如6Gbps，使接口成为访问闪存的性能瓶颈。
PCI-E SSD实现了高性能：PCI-E SSD通过PCI-E插槽直连CPU进行数据通信 ，省去HBA，运行高带宽，如PCI-E 3.0 x16，理论双向16通道带宽支持32GB/s，实际使用约为4000MB/s（4X），远高于600MB/s 的SATA带宽。并且它在技术上是全双工处理，支持多请求处理，支持无序处理；接口带宽从x1到x16可扩展；链路速度可扩展；支持低时延；
其它优势：
具有功耗管理功能，优化的缓存机制，实现动态功耗分配；
支持NVM Express（简称NVMe）接口标准的PCI-E SSD还支持写零指令、数据拷贝指令（这两项都可以大大降低主机负载、或提高闪存复制数据的读写效率，类似于vmware VAAI的存储特性）、启用多路访问（支持多PCI-E接口的SSD，支持挂接外部PCI-E switch，进而支持服务多台主机）等一系列先进存储特性。
在技术设计上、性能上，以及技术标准上，PCI-E SSD都要远远优于SATA SSD，取代SSD也是一种未来趋势。
不过也正如网友所说，PCI-E SSD需要插在服务器PCI-E插槽上，安装维护起来比较麻烦，单从服务器应用角度看，很少支持热插拔（个别带专用内部PCI转换接口设计的服务器支持），另外因为不兼容SATA/SAS协议了，必须使用专用的驱动，在磁盘管理上也和以往完全不同，有自己的使用特性。
3、在那些应用场景应该放弃传统硬盘而选择闪存？ 哪些哪些场景不应选用闪存？
泛泛来讲，对存储容量不高、IO性能要求很高，应用性能慢在IO上的应用场景可考虑使用闪存、或全闪存阵列，或至少使用混合阵列（动态分层技术）。例如高IO负载的OLTP的数据库、视频制作中的动画渲染、高性能计算、互联网中的电子商务、云计算、某些类型的虚拟化（VDI）等等。
有些场景是不太适合闪存，比如海量存储、低IO负载系统，IP SAN、NAS、应用性能与IO关系不大的场景，例如平安城市中的视频监控存储系统、OA中的文件服务器、低负载数据库等待。主要是性价比不高，另外应用的性能瓶颈也不在IO上，可能在应用本身或网络上。
4、对于你的应用场景而言，使用多大容量的SSD是合适的？小于256G,256G-1TB, 还是大于1TB?
项目中使用过的是200GB SSD+2TB NL SAS组成的分层存储：9个200GB SSD磁盘，1*RAID(6D+2P),1044GB可用空间,含1个热备盘； 104个2TB硬盘,10*RAID6(8D+2P)，139.2TB可用空间，含4个热备盘；这种配置是厂商定的，可能与成本、数量、和最佳实践有关。
多大容量SSD是适合的，可能还要看成本、安装环境、性能、和应用需求。
成本是指每GB成本；安装环境是指硬盘槽位/PCI-E槽位的规格数量；性能是指否需要多并发；应用需求是指性能优先还是成本优先。
关于SSD的并发使用我没有明确的认识，只是参考传统机械硬盘，感觉在可用容量一定的情况下，多盘多并发配置可能会性能更好，但对于SSD，可能又要受限于接口速率。
以机械硬盘存储设计为例，在可用容量一定的情况下，选择小盘多盘，组成多RAID组+跨RAID组资源池，可实现多磁盘多并发性能，是性能优先的选择（对于使用内部存储虚拟化的设备，实现方式不同，原则是一样的）；选择大盘少盘，组成少RAID组+跨组资源池， 是成本优先的选择。
对SSD，可能也会面临同样问题。
5、你使用的SSD是2.5吋盘，PCIe 卡， M.2 SSD 还是其他形式？为什么？
主要用过2.5寸盘，我们主要用在存储设备上，而且是传统存储设备（非全闪存阵列），这种设备还不支持PCI-e SSD。
M.2 原名为NGFF接口，它是Intel为超极本（Ultrabook）量身定做的新一代接口标准，以取代原来基于mini PCIe改良而来的mSATA接口。据说在规格尺寸的小巧上还是更高的传输性能上，都远胜于mSATA。 另外这种接口还能灵活地在SATA/PCIe模式间切换，是一种挺有意思的SSD，我没用过，也不知道它是否能用在服务器上。（本次讨论好象集中在服务器的企业级应用，这东西应该用不到，thinkpad x系列可以用吧？）
其实闪存设备不止些类型，关注闪存的知名存储厂商都会有自己专有闪存部件，如各种闪存模块等，既不是SATA/SAS接口的，也不是PCI-E接口的，如IBM、Fusion IO等都有自己的专用闪存模块，用于全闪存阵列。另外如HDS，开发了自有专利的HAF(Hitachi Accelerated Flash)闪存加速卡，号称五倍于传统的MLC、eMLC的性能。四倍的单位容量，一块闪存卡能支持3.2TB的容量，也是一种特珠的闪存模块。
6、SSD的耐写度有限制对你的应用场景来说是个问题吗？你更多是通过SSD读还是写？
以前确实是个问题，而且大家都说不要用在频繁写的场合中。但听过一次IBM的培训，资料上说在IBM的flashsystem（全闪存阵列）中，称eMLC 可以承载绝大多数的企业及业务负载需求，10TB的FlashSystem可以在100MB/s的写压力下工作一百年；IBM FlashSystem 还采用独有技术例如Variable Stripe RAID™ and 2D Flash RAIDTM, wear leveling and over-provisioning Lengthen system life 进一步提升eMLC 和 SLC设备使用寿命。看来似乎是解决了这问题了。
另外，以前学习HP proliant DL380p Gen服务器时，几年前他们就有一种技术可以在服务器上自动预测SSD失效时间，提前给出告警。
我想有了延寿和预警，耐写度问题将不是个问题。
另外，对于我们常用的oracle应用来，还是读为主。
7、与当前在使用的存储方案相比（比如高端存储、SAN中低端存储），使用Flash闪存维护数据库每GB成本以及性价比上去了还是下来了？
当然是上去了，目前来说同等容量下，闪存还是比机械硬盘贵很多。但是衡量闪存一般不用每GB成本，而是用其它参数。
比如：
单位美元的IOPS，用以衡量产品是否货真价实
单位GB的IOPS，用以衡量存储阵列的I/O密度
另外，通过存储中的压缩和重删技术，还可以提升空间利用率，降低每GB成本。
在服务器内部采用NVMe SSD设备的看法交流:
8、什么样的应用场景需要多种存储混合，NVMe 和机械盘或者SATA SSD?
性能和成本平衡的场景。
先说对存储设备而言，在目前环境下，全闪存阵列还是很昂贵的东西。IBM一个10TB的flashsystem（目前最大48TB），起价10几K以上（至少好几十万人民币起价），一般人有点用不起。虽然混合存储阵列和全闪存阵列比起来，技术不先进，水平不高，受传统磁盘阵列落后设计限制（没有对闪存进行全面结构优化），但通过部分采用SSD硬盘，也能有效提升传统存储性能和适用场景，而且在成本上完全可以承受。
对于服务器来说，使用场景大同小异，而且服务器的优势是可以直接使用NVMe PCIe SSD，经常是用做cache，或存放热点数据，成本相对不算高，还是可以考虑的，但往往要加配一些闪存加速软件，比如NetApp Flash Accel技术就是这样，可将任何服务器端闪存设备（PCI-e 闪存卡或 SSD）用作本地缓存，减轻网络和后端存储的 I/O 负担，帮助最繁忙的应用程序实现最高的 I/O 效率，同时释放服务器 CPU 和内存资源，但它这软件主要是用于vmware服务器虚拟化场景的。
9、NVMe作为缓存设备，会怎么使用？相比SATA SSD 有哪些优势？
速度快，支持的先进存储特性多，在问题2中已经描述。
10、针对不同的场景， NVMe和CPU之间使用什么样的方式连接才是最优化的方式？或者NVMe连接到什么设备上才是最合理的连接方式？比如：服务器内单一的NVMe存储，不需要RAID卡，直接连接PCIe总线到CPU，还是中间使用PCIe switch？
这个问题比较有意思。
有关pcie switch的概念，我原来一点不知道，查了下资料，才发现有两种概念，一种是用于主板上的PCI-E Switch芯片，一种是用于外部设备互连的的pci-e的交换机，也叫“PCI-E switch”，是完全不同的东西。
估计此题是在讲内部的PCIe Switch芯片。这类芯片又分两种：
第一种一般又被称为PCI-E桥，某些主板上常见的PLX桥芯片就是这种，简单来说就是把可供一个设备使用的PCI-E通道变成可供两个设备使用，它们各自都能使用通道的最大带宽，但同一时间内通道仍只能让其中一个设备使用。
另一种PCI-E Switch芯片又叫作PCI-E开关芯片或切换芯片，这种芯片可把主板的一个16X的PIC-E通道，分成数个带宽总和不高于16X的PCI-E通道以供多个设备同时使用。
关于针对不同场景，如何连接CPU才是最优化的，因为不懂，只能根据经验瞎猜了。如果SSD数量少，追求高性能，还各自直连CPU好，性能有保证；如果SSD数量多，且对性能没有过高要求，并要求其它应用（其它类型PCI-E设备）留出更多的PCI总线带宽，那么可以考虑采用PCIe switch。
|
|
免费注册
楼主: send_linux
发表于 2014-09-29 18:33
另一个私信你了：）
