免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: send_linux

[其他] PCIE SSD对数据库架构的影响巨大?参与讨论得派克金笔!(获奖名单已公布-2014-6-27) [复制链接]

论坛徽章:
5
荣誉会员
日期:2011-11-23 16:44:17CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-09-18 15:15:45未羊
日期:2014-02-25 14:37:19射手座
日期:2014-12-26 22:55:37
发表于 2014-05-08 18:29 |显示全部楼层
本帖最后由 wolfop 于 2014-05-08 20:36 编辑

PCIE的SSD虽然能对数据库虽然有提升,但是其实也带来很多问题,如果你不在乎数据安全来说,你可以随便用,实际上问题很多
1, 传统磁盘的随机读写IOPS只有一百多,PCIE SSD的随机读写IOPS高达惊人的50多万(详细数据请参考http://www.shannon-sys.com/direct-io-g2_zh.html)。 随机读写延迟也从毫秒级别降到微秒级别。我们应该怎么才能充分利用PCIE SSD这些出色的性能来优化我们的数据库架构和性能呢?
注意一点PCIE SSD是插在数据库服务器上的那么,如果服务器宕机了,你肯定访问不了了。这对业务关键系统是很可怕的,所以基本职能用来做只读缓存。对于oracle来说,可以用来做extend SGA,但是注意,extend SGA还是缓存,如果你的fast_recover_target不变,你对底层盘阵/磁盘的写IO需求并没有变化,仍然要写磁盘,仍然可能在高IOPS写的情况下性能下降,和是否用PCIE SSD没直接关系。聊以自慰的是的确可以释放底层磁盘的IOPS read的需求。
  如果做写缓存(一般是借助第三方驱动,例如linux的b-cache之类),那么这台机器宕机了怎么办,你只能通过dataguard来保护你的DB,不好意思,那么你的应用响应时间 log file sync的性能影响主要是网络,你的SSD帮不了什么忙。当然,如果你愿意接受数据丢失,可以用最大性能模式,前提是你允许宕机切换丢数。
  即便读,也不是一个完美的解决方案,对于以随机读较多的OLTP还好,但是对于Oracle的OLAP来说,原因在于
1)如果你用做extend SGA,不要忘记数据仓库类型的工作负载是采用并行执行,而11G开始并行执行的读缺省采用direct path read,和SGA无关。除非你打算用实际用的很少的in memory parallel execution。
2)你更加需要依赖别的驱动作为块设备的读cache,这类驱动并不知道你到底在做什么读,一个0级别的数据库备份就可能让你本来应该LRU保存的对SLA有效的数据块被换出去。

2, 在PCIE SSD的帮助下,我们自己是否可以在普通服务器甚至PC上配置出类似Oracle Exadata性能的架构呢? 如果可以的话,应该怎么配置?
如果是跑ORACLE的话,没戏,没有smart-scan之类的帮助,你永远是一个share disk架构,在OLAP上面不可能和share disk+share nothing的Exadata比。实际上在Exadata上测试过,禁用smart scan以后,OLAP的读等待事件从cell smart table scan变成cell multi block physical read以后,性能下降到原来1/3。OLTP呢,除非你能接受宕机不是0数据丢失而采用最大性能模式,否则你的log file sync永远有一个最大可用性的DG的over head
3,  使用PCIE SSD来保存我们公司的关键数据足够安全吗?
   关键在于怎么用,如果你把PCIE SSD做了写缓存或者干脆把redo/datefile放到上面,都用DG的最大可用性方式,肯定足够安全,否则,你是打算接受HA切换(不是DR切换)RPO!=0还是接受RTO长达数小时(比如你的服务器主板坏了)。退而求其次就是做只读缓存,对写密集应用帮助有限。
4, 通常都是使用什么工具来评测PCIE SSD? 测试PCIE SSD应该关注哪些数据?
  不关心。

其他数据库,也有同样的问题,DB2/INFORMIX,要做到HA切换0数据丢失,要么只是只读缓存,要么就是做HADR的同步方式。

论坛徽章:
0
发表于 2014-05-09 11:58 |显示全部楼层
潜水了很久啦,我也来凑凑热闹。
楼主的问题很多人都逐条回复了,各种答案都很赞,我就不按照那个框框一一回复了。
我不是磁盘或者存储技术的研究者,只是在平时维护数据过程中用到了一些,主要说说自己的一些看法。

1.关于性能,这个没得说,的确比传统磁盘提升了很多很多。ssd可以分为sata ssd,pcie ssd,和将来的nvme ssd。其性能,吞吐量和延迟在数据库上来看都是非常赞的,具体数据去看网上各种测评吧。

2.关于成本。我是从2010年开始用intel的ssd和FusionIO的PCIe,后面也逐渐接触了其他的例如shannon,memblaze,virident等等产品。在成本上有三点要说:
    (1)总体来看nand存储的单G成本是下降的,而且下降的幅度非常大,到现在为止它的价格跟传统磁盘比已经不是数量级差距了,甚至某些超大规模的互联网企业拿到的价格低得让人无法想象。
   (2)使用了ssd之后,短期来看单台服务器价格是上升了,但是由于机器性能得到了质的飞跃,在我维护MySQL的过程中,可以合并机器,用一台ssd机器替换原来老的机器3-5台。我在我的老东家干这个事情,为老东家至少节省了30%的机器数。再考虑到机房的费用,这个成本总体来看,其实是省了钱的。
   (3)数据库在IO瓶颈的时期,对于DBA的运维要求很高,稍不注意,例如在高峰时期手动flush log。就可能导致系统故障,数据库堵死。在IO资源充足的情况下,大大降低了这个成本。
3.关于使用方法。从ssd出现,受制于成本,使用方法一变再变。
    (1)最早期,大家用sata ssd,并且倾向于用ssd+sas/sata的混合模式,用开源的flashcache解决。
    (2)随着ssd的便宜和flashcache对ssd寿命的巨大影响,大家开始直接裸用ssd
    (3)pcie出来了,用开始pcie+sas/stata+flashcache的模式。但是,这个时期,由于pcie是在太快了,底层的sas往往成为瓶颈,使pcie的性能得不到充分发挥。
    (4)最终的状态应是直接把数据库建在pcie上。

4.关于寿命
    早期的ssd的确寿命很差,再加上ssd自身的写放大,很容易就把寿命写没了。这里还有个问题是,早期的ssd本身寿命就差,当时大家还把它用在flashcache上,flashcache会把读数据转换为对ssd的写,导致寿命下降剧烈。
    如果按照现在的pcie的官方标称寿命,并且不用flashcache的情况写,如果想把它写完,还是非常困难的,我觉得根本就不用考虑。

5.展望
(1)nand存储一定会成为主流,传统的机械磁盘除了备份冷数据外,会慢慢退出。
(2)基于nand存储底层的软件架构或者系统会逐渐出来,目前很多厂商在自己做,但我觉得将来可能大家会公开接口,让所有人参与进来。
(3)由于存储的改变,会影响到目前的储存系统软件的升级,例如MySQL,redis,MongoDB等等,目前已经有一些补丁在针对ssd的优化了,这个还会加强。
(4)nand存储越来越便宜,便宜到比sas还便宜!哈哈,这个是理想,但愿梦想成真!


send_linux 发表于 2014-05-05 15:14
PCIE SSD的使用越来越普及,容量也越来越大,在过去的DTCC2014大会上,上海宝存科技(http://www.shannon-sy ...

论坛徽章:
0
发表于 2014-05-09 13:46 |显示全部楼层
回复 6# 冬瓜头


    高人啊,刚看完一遍你的 大话存储 ,膜拜!

论坛徽章:
29
技术图书徽章
日期:2013-09-02 19:59:502015元宵节徽章
日期:2015-03-06 15:51:332015小元宵徽章
日期:2015-03-06 15:57:20操作系统版块每日发帖之星
日期:2015-08-16 06:20:002015七夕节徽章
日期:2015-08-21 11:06:17操作系统版块每日发帖之星
日期:2015-09-21 06:20:002015亚冠之水原三星
日期:2015-10-30 00:06:07数据库技术版块每日发帖之星
日期:2015-12-24 06:20:0015-16赛季CBA联赛之上海
日期:2016-01-07 10:32:07操作系统版块每日发帖之星
日期:2016-01-08 06:20:00操作系统版块每日发帖之星
日期:2016-05-18 06:20:00IT运维版块每日发帖之星
日期:2016-07-23 06:20:00
发表于 2014-05-09 21:00 |显示全部楼层
先降价再说吧。

至少普通的sata口ssd已经接近消费级了,你这个 还是 奢侈品啊

论坛徽章:
0
发表于 2014-05-12 14:03 |显示全部楼层
beyondfly 发表于 2014-05-07 10:16
回复 17# zclhard

    PCIE-SSD是不是未来的一个发展趋势呢?


这个不是趋势,而是一定了,看看现在企业级存储的新兴厂商,哪个不是搞pcie-ssd起家的

论坛徽章:
0
发表于 2014-05-12 14:04 |显示全部楼层
2009532140 发表于 2014-05-07 09:05
1, 传统磁盘的随机读写IOPS只有一百多,PCIE SSD的随机读写IOPS高达惊人的50多万。 随机读写延迟也从毫秒级 ...

企业级的SSD测试不知道咋弄,但是楼主说的这个,应该是大多数网络上的那些消费级ssd评测或者读写速度获取的主要途径

论坛徽章:
459
亥猪
日期:2014-05-31 12:08:03亥猪
日期:2014-05-31 12:07:38亥猪
日期:2014-05-31 12:08:04亥猪
日期:2014-05-31 12:07:43亥猪
日期:2014-05-31 12:07:52亥猪
日期:2014-05-31 12:08:09亥猪
日期:2014-05-31 12:07:51亥猪
日期:2014-05-31 12:08:02亥猪
日期:2014-05-31 12:07:59亥猪
日期:2014-05-31 12:07:37亥猪
日期:2014-05-31 12:07:50亥猪
日期:2014-05-31 12:07:39
发表于 2014-05-12 15:50 |显示全部楼层
回复 36# zclhard


    恩。
个人也就是从网上得知SSD 参数,测测看看效果。

论坛徽章:
459
亥猪
日期:2014-05-31 12:08:03亥猪
日期:2014-05-31 12:07:38亥猪
日期:2014-05-31 12:08:04亥猪
日期:2014-05-31 12:07:43亥猪
日期:2014-05-31 12:07:52亥猪
日期:2014-05-31 12:08:09亥猪
日期:2014-05-31 12:07:51亥猪
日期:2014-05-31 12:08:02亥猪
日期:2014-05-31 12:07:59亥猪
日期:2014-05-31 12:07:37亥猪
日期:2014-05-31 12:07:50亥猪
日期:2014-05-31 12:07:39
发表于 2014-05-12 18:46 |显示全部楼层
回复 32# goallist


     使用了ssd之后,短期来看单台服务器价格是上升了,但是由于机器性能得到了质的飞跃,在我维护MySQL的过程中,可以合并机器,用一台ssd机器替换原来老的机器3-5台。我在我的老东家干这个事情,为老东家至少节省了30%的机器数。再考虑到机房的费用,这个成本总体来看,其实是省了钱的。



怎么个配置,对于mysql 在这种机器上的配制方法?
SSD 也是作为缓冲区使用的么?

论坛徽章:
136
2022北京冬奥会纪念版徽章
日期:2015-08-07 17:10:5719周年集字徽章-庆
日期:2019-08-27 13:28:5615-16赛季CBA联赛之福建
日期:2019-09-10 11:43:25
发表于 2014-05-12 20:09 |显示全部楼层
高大上,老实用pure ram/nosql的路过

论坛徽章:
19
CU大牛徽章
日期:2013-04-17 11:48:262015年辞旧岁徽章
日期:2015-03-03 16:54:15羊年新春福章
日期:2015-03-10 22:39:202015年中国系统架构师大会
日期:2015-06-29 16:11:282015亚冠之平阳省
日期:2015-07-31 09:19:042015七夕节徽章
日期:2015-08-21 11:06:17IT运维版块每日发帖之星
日期:2015-09-30 06:20:002015亚冠之柏太阳神
日期:2015-10-19 20:29:5915-16赛季CBA联赛之天津
日期:2016-11-29 14:03:43双鱼座
日期:2015-01-12 20:58:532014年中国系统架构师大会
日期:2014-10-14 15:59:00CU大牛徽章
日期:2013-04-17 11:48:40
发表于 2014-05-12 21:52 |显示全部楼层
回复 35# zclhard


    能不能举个例子,国内外具体有哪一些厂商,他们的产品主要应用于哪一些行业和企业?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,8.5折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时8.5折扣期:2019年9月30日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP