PCIE SSD对数据库架构的影响巨大？参与讨论得派克金笔！（获奖名单已公布-2014-6-27）

send_linux

获奖名单已公布，详情请看：http://bbs.chinaunix.net/thread-4143760-1-1.html

PCIE SSD的使用越来越普及，容量也越来越大，在过去的DTCC2014大会上，上海宝存科技(http://www.shannon-sys.com) 甚至 发布了容量高达6.4T的PCIE SSD单卡。从淘宝双十一促销，到京东苏宁大战，PCIE SSD一直在后台默默地支持着各大电商的后台数据库。

演讲PPT下载：谈PCIe SSD在数据库性能优化中的作用

本期话题：
1， 传统磁盘的随机读写IOPS只有一百多，PCIE SSD的随机读写IOPS高达惊人的50多万(详细数据请参考http://www.shannon-sys.com/direct-io-g2_zh.html)。 随机读写延迟也从毫秒级别降到微秒级别。我们应该怎么才能充分利用PCIE SSD这些出色的性能来优化我们的数据库架构和性能呢？

2， 在PCIE SSD的帮助下，我们自己是否可以在普通服务器甚至PC上配置出类似Oracle Exadata性能的架构呢？ 如果可以的话，应该怎么配置？

3,  使用PCIE SSD来保存我们公司的关键数据足够安全吗？

4， 通常都是使用什么工具来评测PCIE SSD？ 测试PCIE SSD应该关注哪些数据？

本期奖品：
优秀参与奖，派克精美钢笔签字笔礼盒一份，择优选择5-6名

活动时间：
2014年5月5日-25日



活动要求：
1、 要言之有物，不能低于20个字
2、 本次话题主要关注PCIE SSD和数据库架构的心得体会和使用技巧，其他问题可能不做重点

q1208c

SSD 虽然是个很快的存储, 但到目前为止, 寿命仍然是它的致命伤. 每GB成本, 也是一个容忽略的问题.

通常, SSD 都是做为cache来使用的, 用来提升整体系统的IO性能. 直接使用 SSD 做为永久存储来使用, 只能等着盘坏数据丢.

但决不要以为只要用了SSD就会快. IO性能就会有质的飞越.

SSD在设计的时候, 由于NAND的擦除寿命的原因, 为了提升整体的寿命, 都有写平衡算法. 新的SSD, 由于不需要擦除操作, 所以, 写性能较好, 随着写入量(擦除量)的增加, 写性能会越来越差. 加上系统架构并只是只有IO唯一的瓶颈, 所以, 决不是只要换了SSD就能快了.

PCIE SSD 的最大问题是 更换必須 down机.
在标准的服务器架构中, 最容易坏的有两个组件, 一个是磁盘, 一个是电源, 所以, 在企业级的服务器中, 这两样都做成 hotswap的, 而PCIE SSD 没办法做到 hotswap, 一旦出现问题, 数据全无, 且必须down维护. 所以, 使用PCIESSD 必须考虑其它的方式来处理相应的问题. 如HA或实时, 准实时同步等.

InfoCore-Great

send_linux 发表于 2014-05-05 15:14
PCIE SSD的使用越来越普及，容量也越来越大，在过去的DTCC2014大会上，上海宝存科技(http://www.shannon-sy ...

终于让我看到了一个心仪的礼品。哈哈

1， 传统磁盘的随机读写IOPS只有一百多，PCIE SSD的随机读写IOPS高达惊人的50多万 随机读写延迟也从毫秒级别降到微秒级别。我们应该怎么才能充分利用PCIE SSD这些出色的性能来优化我们的数据库架构和性能呢？

A：最充分的做法，我目前能够想到的便是把每个应用主机的热点数据至于Flash /SSD上面。这些一线存储厂商早就明白，性能提升相对的则是成本的投入。企业数据中心假如有500TB数据，即使这些数据对应了关键业务，投入500TB的Flash /SSD成本也是相当昂贵的，还不包括今后的持续扩展，所以我们可以借助存储自动分层技术很好的权衡性能与成本，可以利用：应用主机，存储设备，或者虚拟化网关，仅仅购入3%-10% Flash /SSD，并且整合现有的HDD存储，进行“池”化，动态迁移热点数据块，访问频繁的放置在Flash /SSD,非频繁的仍然放置的HDD存储，这是一种最有效的利用我认为。

2， 在PCIE SSD的帮助下，我们自己是否可以在普通服务器甚至PC上配置出类似Oracle Exadata性能的架构呢？ 如果可以的话，应该怎么配置？

A:如果把存储资源调配和生产业务全都寄托给应用主机，我想应用主机会非常吃力、让应用主机专心的运行业务，而存储层负责存储管理/安全，这将是层次鲜明的一个IT架构。
这是一个我参观过的项目，搭建：集成商选择了一套开发式的存储虚拟化管理软件，软件安装在IBM X3850上面,成为一套虚拟化网关，这套虚拟化网关做的第一件事：把用户已有的3套存储阵列（不同品牌）进行接管，然后“池-Pooling”化，使容量利用率100%，然后购入Fusion -io 卡片2颗，安置在X3850 Pcie上面，（卡片之间由虚拟化软件做RAID 1）。
现在，存储池的总体容量等于： 3套存储+1颗Fusion-io卡片；有趣的是：在存储池创建若干个LUN给前面主机，虚拟化网关会监测每一个LUN中，热点数据的访问频率，访问频率高的数据块迁移到Fusion-io卡片上，当这个数据块逐渐冷却，会被迁移到更慢的磁盘层，比如IBM SAS存储，到EMC SATA-RAID 1存储，再到HP SATA RAID 5的存储上面。

这个架构优于Oracle Exadata地方？由于是开放式的架构，可以选择Fusion io或者任何厂商的 PCIe NAND Flash,可以Violin 闪存阵列（如果有这个预算），可以选择东芝，Intel,镁光的 SSD 磁盘，没有问题。随着需要选择性的改变架构，虚拟化网关可以和主机用过IP SAN连接，可以通过4，8，16Gb FC连接，甚至Infiniband。没有问题。只需要在那台X3850的Server与应用主机之间配置同样的HBA CARD.


3,  使用PCIE SSD来保存我们公司的关键数据足够安全吗？

安全与否是相对的，纠结100年也是如此，然后安全最高原则通过哪一条线来衡量呢？这是我看过一个朋友的博客得到的感悟。

HDD安全吗？即使实验室测试说HDD寿命是30年，按照用户现有的环境（想想北京的气候），一颗盘能跑多久？那些整天宣传SSD寿命低的媒体更多的也许都没有进过数据中心，我们要一窝蜂的导向他们吗？1批HDD磁盘从安装到第一次报修也许仅仅是8个月之间，一套阵列搬迁到另一个机架都会坏一堆盘，这些只有经常实施项目的工程师才能体会。坏“到不说是寿命到达极限，面板只要闪黄灯，那IT部门必须报修，也许那个盘还能用，还能转。
所以，我认为，比较HDD方面，SSD在安全上更有优势，尤其在苛刻环境中，更能体现这一点。更少的振动，更低的散热，较少的机械组件=较少的故障点。
遗憾的是：不能通过面板直观的看到红灯，还是绿灯，也许巡检要绕道后面，还不能支持RAID卡，因为安装在PCIe上面（所以前面提到的虚拟化网关能够提供很多好处）。

4， 通常都是使用什么工具来评测PCIE SSD？ 测试PCIE SSD应该关注哪些数据？

如果测试虚拟化环境，VMWARE提供了虚拟机部署的性能分析仪，这个东西很好用，是虚拟机部署的一个实例。
如果是传统应用，我会用IOMeter，这是很厉害的工具，最主要的是免费。

数据：看应用场景，文件服务器，流媒体应用看带宽，而这些SSD价值将会很小。

如果是大规模的虚拟化环境，OLTP 数据库，邮件交易，ERP,CRM,等等。有2个关键指标，我认为：IOPS数量，每秒的平均延迟。

别拿消费级的桌面SSD来讨论这个议题，完全没有意义。
这是按照最苛刻的环境测试的结果........




PS:很早就有人点化过我，Performance其实包括三个主要因素：带宽，IO每秒的交互数量，延迟。
那钢笔似乎不错哦:wink:

send_linux

InfoCore-Great 发表于 2014-05-06 11:20
终于让我看到了一个心仪的礼品。哈哈

1， 传统磁盘的随机读写IOPS只有一百多，PCIE SSD的随 ...

感谢精彩分享~

2009532140

想搞一个带有SSD硬盘的笔记本，玩玩oracle 的RAC 之类的。

冬瓜头

我也来凑凑宝存科技的热闹：）

1， 传统磁盘的随机读写IOPS只有一百多，PCIE SSD的随机读写IOPS高达惊人的50多万(详细数据请参考http://www.shannon-sys.com/direct-io-g2_zh.html)。 随机读写延迟也从毫秒级别降到微秒级别。我们应该怎么才能充分利用PCIE SSD这些出色的性能来优化我们的数据库架构和性能呢？
》》》NAND Flash延迟低，那就最合适需要同步IO的场景典型的比如数据库的日志写操作，又同步，io又小，机械盘真是受不了这摧残了。最理想的解决办法是使用nvdimm来存放日志，然后刷到PCIE flash卡上，异步刷即可，用一块sata ssd和pcie flash上的日志空间做软raid1镜像来保证安全性。大部分pcie flash空间用于当做缓存，或者安全性要求不是十分苛刻的话，直接把热库放上去。

2， 在PCIE SSD的帮助下，我们自己是否可以在普通服务器甚至PC上配置出类似Oracle Exadata性能的架构呢？ 如果可以的话，应该怎么配置？
》》》看技术能力。exadata除了用flash之外，还在软件上做了优化吧，如果是开源数据库那只要你技术牛，随便整。如果是Oralce，改不了，那就只能用高规格flash了，我相信，只要有钱，都能解决。

3,  使用PCIE SSD来保存我们公司的关键数据足够安全吗？
》》》如果使用PCIE SSD来作为透明加速缓存的话，安全性不是问题。故障率方面，目前来看SSD故障率比机械盘要低不少，而且寿命可预测。没有绝对安全，都得备份，勤备份着就行。

4， 通常都是使用什么工具来评测PCIE SSD？ 测试PCIE SSD应该关注哪些数据？
》》》 Llinux下fio，工人的。时延、iops、同步iops+时延，异步iops@4K随机。

beyondfly

1， 传统磁盘的随机读写IOPS只有一百多，PCIE SSD的随机读写IOPS高达惊人的50多万(详细数据请参考http://www.shannon-sys.com/direct-io-g2_zh.html)。 随机读写延迟也从毫秒级别降到微秒级别。我们应该怎么才能充分利用PCIE SSD这些出色的性能来优化我们的数据库架构和性能呢？

     好钢一定要用在刀刃上，PCIE-SSD这么高性能的存储设备，自然是要用在整个系统中，数据读写最频繁的机器上，数据库的数据存放目录上，其它的备份数据，则放在读写速度慢的磁盘上。
2， 在PCIE SSD的帮助下，我们自己是否可以在普通服务器甚至PC上配置出类似Oracle Exadata性能的架构呢？ 如果可以的话，应该怎么配置？
     应该是可以，把oracle的数据存放目录放到PCIE-SSD上，再大oracle相关参数的配置
3,  使用PCIE SSD来保存我们公司的关键数据足够安全吗？
      数据安全，当然是要通过这种备份机制来保证，比如RAID, 软件RAID, 开源的rsync unsion 以及各种商业的备份软件来保证，另外，SSD的寿命相对传统磁盘来说，会短得很多，这一点，要生产环境中需要注意。

4， 通常都是使用什么工具来评测PCIE SSD？ 测试PCIE SSD应该关注哪些数据？
     通过iozone, unixbench之类的工具都可以评测PCIE-SSD的性能，重点关注其随机读写的测试出来的数据。

forgaoqiang

1， 传统磁盘的随机读写IOPS只有一百多，PCIE SSD的随机读写IOPS高达惊人的50多万(详细数据请参考http://www.shannon-sys.com/direct-io-g2_zh.html)。 随机读写延迟也从毫秒级别降到微秒级别。我们应该怎么才能充分利用PCIE SSD这些出色的性能来优化我们的数据库架构和性能呢？

有效的做法就是数据库存储采用“全闪阵列”来取代传统的机械硬盘，如果成本过高的话，可以将经常访问使用的热点数据存放到SSD存储上，传统的历史数据等存放到传统存储上，也可以使用类似 intel快速存储技术（Intel Fast Storage）这样的技术，自动识别热点数据，采用SSD作为缓存，实现 机械硬盘->SSD 存储 -> 内存 三级缓存模式，这个应用方式不仅限于数据库存储，可以应用在所有的存储方案上。

至于Shannon的测试数据，应该是企业专用设备的结果，我个人测试家用设备，虽然IOPS比没有那么夸张，但是完全可以看出SSD具有绝对的优势，有图有真相：

这是我的金士顿SSD硬盘的随机数据读能力


这个是我的1TB的 WD 黑盘的随机数据读能力

明显的看出来，在小数据块数据读上，SSD的性能是机械硬盘的 80倍（4600IOPS 60IOPS的比例）左右。

2， 在PCIE SSD的帮助下，我们自己是否可以在普通服务器甚至PC上配置出类似Oracle Exadata性能的架构呢？ 如果可以的话，应该怎么配置？
Oracle Exadata使用了大量内存，主要解决了从存储到内存快速传输的问题，如果存储的I/O跟不上，就会成为瓶颈（bottleneck），限制整个系统的性能发挥。首先PCIE这种新的数据接口能够提供超过8Gbps的传输速率（x16），接口不会拖累传输，剩下的就是存储器本身的性能问题，SSD Flash盘性能提高多少，几乎整机性能就会提高多少。使用多台廉价的主机配合高速的存储结合Hadoop这种分布式计算框架，实现Oracle Exadata这样的整体解决方案应该不是梦。

3,  使用PCIE SSD来保存我们公司的关键数据足够安全吗？
磁盘和闪存盘几乎都是以数据量来计算的，大量的写操作对于存储寿命有着大的影响，图是我的个人计算机SSD Life得到的信息，去年安装的，读写加起来有10TB的数据了，状态应该还算是良好。寿命问题应该不是大的问题，毕竟SSD硬盘寿命都是内置计数器的，快坏的时候SMART系统应该会预警，即使更换就不会有严重的问题。另外备份仍然可以采用传统的机械硬盘甚至磁带来完成。
SSD的一大优点就是不怕震动，这个是传统硬盘不可避免的，而且SSD的功耗和很低，毕竟不需要驱动电机等物理机械结构，因此发热量也小很多，物理安全问题应该不是问题。



4， 通常都是使用什么工具来评测PCIE SSD？ 测试PCIE SSD应该关注哪些数据？

PCIE接口是个好东西，我测试的时候的接口是SATA的，虽然我的接口不会成为瓶颈，但是比起 PCI-E 高达 8Gbps的传输速率来说到真是差距明显，个人测试的时候我使用的工具是：
HD Tune Pro 这款工具，可以进行随机的读写操作，也可以对硬盘坏道进行个初步扫描，还是比较实用的。

测试存储关注的仍然是两大参数 IOPS和读写延时，两者联系紧密，一般IOPS就能代表整体性能，是首要关注的参数。

qingduo04

回复 3# InfoCore-Great


    哥们说的真详细，学习了，这么好的分析，奖品是你的了,嘿嘿

2009532140

回复 6# 冬瓜头


    看见大师了...