PCIE SSD对数据库架构的影响巨大？参与讨论得派克金笔！（获奖名单已公布-2014-6-27）

wolfop

PCIE的SSD虽然能对数据库虽然有提升，但是其实也带来很多问题，如果你不在乎数据安全来说，你可以随便用，实际上问题很多
1， 传统磁盘的随机读写IOPS只有一百多，PCIE SSD的随机读写IOPS高达惊人的50多万(详细数据请参考http://www.shannon-sys.com/direct-io-g2_zh.html)。 随机读写延迟也从毫秒级别降到微秒级别。我们应该怎么才能充分利用PCIE SSD这些出色的性能来优化我们的数据库架构和性能呢？
注意一点PCIE SSD是插在数据库服务器上的那么，如果服务器宕机了，你肯定访问不了了。这对业务关键系统是很可怕的，所以基本职能用来做只读缓存。对于oracle来说，可以用来做extend SGA，但是注意，extend SGA还是缓存，如果你的fast_recover_target不变，你对底层盘阵/磁盘的写IO需求并没有变化，仍然要写磁盘，仍然可能在高IOPS写的情况下性能下降，和是否用PCIE SSD没直接关系。聊以自慰的是的确可以释放底层磁盘的IOPS read的需求。
  如果做写缓存（一般是借助第三方驱动，例如linux的b-cache之类），那么这台机器宕机了怎么办，你只能通过dataguard来保护你的DB，不好意思，那么你的应用响应时间 log file sync的性能影响主要是网络，你的SSD帮不了什么忙。当然，如果你愿意接受数据丢失，可以用最大性能模式，前提是你允许宕机切换丢数。
  即便读，也不是一个完美的解决方案，对于以随机读较多的OLTP还好，但是对于Oracle的OLAP来说，原因在于
1）如果你用做extend SGA，不要忘记数据仓库类型的工作负载是采用并行执行，而11G开始并行执行的读缺省采用direct path read，和SGA无关。除非你打算用实际用的很少的in memory parallel execution。
2）你更加需要依赖别的驱动作为块设备的读cache，这类驱动并不知道你到底在做什么读，一个0级别的数据库备份就可能让你本来应该LRU保存的对SLA有效的数据块被换出去。

2， 在PCIE SSD的帮助下，我们自己是否可以在普通服务器甚至PC上配置出类似Oracle Exadata性能的架构呢？ 如果可以的话，应该怎么配置？
如果是跑ORACLE的话，没戏，没有smart-scan之类的帮助，你永远是一个share disk架构，在OLAP上面不可能和share disk+share nothing的Exadata比。实际上在Exadata上测试过，禁用smart scan以后，OLAP的读等待事件从cell smart table scan变成cell multi block physical read以后，性能下降到原来1/3。OLTP呢，除非你能接受宕机不是0数据丢失而采用最大性能模式，否则你的log file sync永远有一个最大可用性的DG的over head
3,  使用PCIE SSD来保存我们公司的关键数据足够安全吗？
   关键在于怎么用，如果你把PCIE SSD做了写缓存或者干脆把redo/datefile放到上面，都用DG的最大可用性方式，肯定足够安全，否则，你是打算接受HA切换（不是DR切换）RPO!=0还是接受RTO长达数小时（比如你的服务器主板坏了）。退而求其次就是做只读缓存，对写密集应用帮助有限。
4， 通常都是使用什么工具来评测PCIE SSD？ 测试PCIE SSD应该关注哪些数据？
  不关心。

其他数据库，也有同样的问题，DB2/INFORMIX，要做到HA切换0数据丢失，要么只是只读缓存，要么就是做HADR的同步方式。

goallist

潜水了很久啦，我也来凑凑热闹。
楼主的问题很多人都逐条回复了，各种答案都很赞，我就不按照那个框框一一回复了。
我不是磁盘或者存储技术的研究者，只是在平时维护数据过程中用到了一些,主要说说自己的一些看法。

1.关于性能，这个没得说，的确比传统磁盘提升了很多很多。ssd可以分为sata ssd，pcie ssd，和将来的nvme ssd。其性能，吞吐量和延迟在数据库上来看都是非常赞的，具体数据去看网上各种测评吧。

2.关于成本。我是从2010年开始用intel的ssd和FusionIO的PCIe，后面也逐渐接触了其他的例如shannon，memblaze，virident等等产品。在成本上有三点要说：
    （1）总体来看nand存储的单G成本是下降的，而且下降的幅度非常大，到现在为止它的价格跟传统磁盘比已经不是数量级差距了，甚至某些超大规模的互联网企业拿到的价格低得让人无法想象。
   （2）使用了ssd之后，短期来看单台服务器价格是上升了，但是由于机器性能得到了质的飞跃，在我维护MySQL的过程中，可以合并机器，用一台ssd机器替换原来老的机器3-5台。我在我的老东家干这个事情，为老东家至少节省了30%的机器数。再考虑到机房的费用，这个成本总体来看，其实是省了钱的。
   （3）数据库在IO瓶颈的时期，对于DBA的运维要求很高，稍不注意，例如在高峰时期手动flush log。就可能导致系统故障，数据库堵死。在IO资源充足的情况下，大大降低了这个成本。
3.关于使用方法。从ssd出现，受制于成本，使用方法一变再变。
    （1）最早期，大家用sata ssd，并且倾向于用ssd+sas/sata的混合模式，用开源的flashcache解决。
    （2）随着ssd的便宜和flashcache对ssd寿命的巨大影响，大家开始直接裸用ssd
    （3）pcie出来了，用开始pcie+sas/stata+flashcache的模式。但是，这个时期，由于pcie是在太快了，底层的sas往往成为瓶颈，使pcie的性能得不到充分发挥。
    （4）最终的状态应是直接把数据库建在pcie上。

4.关于寿命
    早期的ssd的确寿命很差，再加上ssd自身的写放大，很容易就把寿命写没了。这里还有个问题是，早期的ssd本身寿命就差，当时大家还把它用在flashcache上，flashcache会把读数据转换为对ssd的写，导致寿命下降剧烈。
    如果按照现在的pcie的官方标称寿命，并且不用flashcache的情况写，如果想把它写完，还是非常困难的，我觉得根本就不用考虑。

5.展望
（1）nand存储一定会成为主流，传统的机械磁盘除了备份冷数据外，会慢慢退出。
（2）基于nand存储底层的软件架构或者系统会逐渐出来，目前很多厂商在自己做，但我觉得将来可能大家会公开接口，让所有人参与进来。
（3）由于存储的改变，会影响到目前的储存系统软件的升级，例如MySQL，redis，MongoDB等等，目前已经有一些补丁在针对ssd的优化了，这个还会加强。
（4）nand存储越来越便宜，便宜到比sas还便宜！哈哈，这个是理想，但愿梦想成真！

send_linux 发表于 2014-05-05 15:14
PCIE SSD的使用越来越普及，容量也越来越大，在过去的DTCC2014大会上，上海宝存科技(http://www.shannon-sy ...

puxiangjun1982

回复 6# 冬瓜头


    高人啊，刚看完一遍你的 大话存储 ，膜拜！

zclhard

beyondfly 发表于 2014-05-07 10:16
回复 17# zclhard

    PCIE-SSD是不是未来的一个发展趋势呢？

这个不是趋势，而是一定了，看看现在企业级存储的新兴厂商，哪个不是搞pcie-ssd起家的

zclhard

2009532140 发表于 2014-05-07 09:05
1， 传统磁盘的随机读写IOPS只有一百多，PCIE SSD的随机读写IOPS高达惊人的50多万。 随机读写延迟也从毫秒级 ...

企业级的SSD测试不知道咋弄，但是楼主说的这个，应该是大多数网络上的那些消费级ssd评测或者读写速度获取的主要途径

2009532140

回复 36# zclhard


    恩。
个人也就是从网上得知SSD 参数，测测看看效果。

2009532140

回复 32# goallist

     使用了ssd之后，短期来看单台服务器价格是上升了，但是由于机器性能得到了质的飞跃，在我维护MySQL的过程中，可以合并机器，用一台ssd机器替换原来老的机器3-5台。我在我的老东家干这个事情，为老东家至少节省了30%的机器数。再考虑到机房的费用，这个成本总体来看，其实是省了钱的。

怎么个配置，对于mysql 在这种机器上的配制方法？
SSD 也是作为缓冲区使用的么？

shang2010

高大上，老实用pure ram/nosql的路过

beyondfly

回复 35# zclhard


    能不能举个例子，国内外具体有哪一些厂商，他们的产品主要应用于哪一些行业和企业?