免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2530 | 回复: 0
打印 上一主题 下一主题

用Nehalem、SSD和Solaris 打造完美数据库平台(下) [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2010-02-21 19:43 |只看该作者 |倒序浏览

通过预测性自愈技术,Solaris操作系统可以自动的诊断、隔离软硬件错误、并帮助系统自动恢复。FMA(Fault Management Architecture)是预测性自愈的重要组成部分,它通过接收相关的软硬件错误信息,自动诊断系统发生的问题。一旦诊断,FMA会对问题进行响应,比如停止相关硬件和服务,并建议相应的处理意见给系统管理员。预测性自愈技术可以大大降低Solaris系统宕机的概率。
有效的能耗管理
通过创新的能耗感知调度器(Power Aware Dispatcher),Solaris操作系统可以充分发挥Nehalem平台上能耗管理技术的优势,使得操作系统内核尽可能长时间待在C-state状态,在保证应用性能的前提下可以充分降低系统的能耗。
新技术对数据库平台系统的支持
Nehalem超强的处理能力,让 PC Server 在CPU资源方面已经具有了可以和小型机媲美的运算能力,虽然暂时 PC Server 平台所能够承载的 CPU 数量还比较有限,但是从目前的数据库环境实测数据来看,从单机 CPU 处理能力来比较,一台配备2个4核 Nehalem CPU 的 PC Server 的处理能力已经完全不逊色于配备16个Power 5+ CPU 的 IBM P590。而且从PC Server迅猛的发展速度来看单机达到8个CPU容量的 PC Server 的出现应该不会让我们等待太久。
SSD 磁盘。针对于上面所描述的数据库应用场景,SSD 硬盘有其天生的优势。其几乎可以忽略不计的数据寻址时间,让每次 IO 的响应时间非常之短,从原来在机械硬盘上的毫秒级响应速度缩短了1到2个数量级至微秒级别。在让整个数据库的并发响应能力得到了极大的提高,自然也会让前端应用的响应体验得到了非常大的提升,也让系统的用户体验得到了改善。
Solaris操作系统的很多特性和阿里巴巴的数据库系统结合起来,给整个体系架构带来了很大的帮助,包括系统性能提升,数据的可管理性以及系统利用率的提高等:
ZFS文件系统
众所周知,ZFS这个突破性的文件系统,可以在普通存储设备上实现通常只有高端存储设备具有的管理功能和一些高级特性,使其在易用性和近乎无限的扩展性方面与现有的其他文件系统相比具有非常大的优势。ZFS的管理便利性,极大的降低了系统的运维成本。通过合理的设计,将ZFS与先进的SSD磁盘想结合,使用SSD磁盘作为ZFS的L2ARC,可以在极小的成本投入前提下让整个存储设备的性能得到成倍的提升。此外,ZFS在功能方面也有很多目前仅仅在部分高端存储中才有的高级特性。如基于事务的高度安全的文件操作,支持多种类型设备的 L2ARC,非常高效的 snapshot 功能,基于block级别的快照远程复制功能等等。
ZFS给我们的 MySQL 数据库带来的最大益处就是事务安全的 snapshot 功能以及其基于block的远程复制功能。这对于没有一个很好的物理备份解决方案的 MySQL 来说,提供了一个非常好的备份手段,可以帮助我们在非常短的时间内在线完成备份操作,完全不会影响到线上业务的正常运行。
Dtrace
作为OS层面一个动态监测系统,Solaris 的 Dtrace 可以说是在 OS 上一个非常大的创新。由于监测的数据全部取自运行时状态,所以在性能调优和 Trouble Shooting 方面有着非常大的功用。此外,Solaris 在教育、通信以及金融行业中,都得到了大量的实际场景的证明,具有非常好的稳定可靠性。尤其是在高负载的场景下,Solaris 基本上不会出现因为资源消耗光而无法管理的情况,但Linux就很可能遇到如此的窘况。
Container
Solaris的Container 通过资源管理技术从 OS 层面提供虚拟化能力,通过相应的配置,在单个物理机器上获得多个逻辑的系统,使得一个系统看上去是逻辑上独立的多个系统。从而提高硬件设备的整体利用率,有效的隔离多个应用之间的相互影响,并降低把多个应用整合到一个系统的成本。
实验测试数据分析

新架构中最主要的两大部件 CPU 和 存储设备的测试效果性能非常理想,不论是 CPU 还是 SSD 磁盘的 IO 能力,表现都非常的好,阿里巴巴对此进行评估数据如下:
通过阿里巴巴专门用于选型数据库主机的系统标准测试套件的压力测试,得到如图所示的下 ATPS 数据。从测试数据可以看出,Intel 用于 PC Server 的 X86架构 CPU 的处理能力各个产品提升非常之快,到Nehalem每核的处理能力已经可以和 小型机芯片不相上下了。
通过 Oracle 所提供的IO测试工具 Orion 实测所得到 IO 能力如下:
8K random read: 约 19000 IOPS
8k random write: 约 16000 IOPS
注:传统的15K FC 机械盘的 IOPS 是无法逾越200的。
新架构中最主要的两大部件 CPU 和 存储设备的测试效果性能非常理想,不论是 CPU 还是 SSD 磁盘的 IO 能力,表现都非常的好,阿里巴巴对此进行评估数据如下:
通过阿里巴巴专门用于选型数据库主机的系统标准测试套件的压力测试,得到如图所示的下 ATPS 数据。从测试数据可以看出,Intel 用于 PC Server 的 X86架构 CPU 的处理能力各个产品提升非常之快,到Nehalem每核的处理能力已经可以和 小型机芯片不相上下了。
通过 Oracle 所提供的IO测试工具 Orion 实测所得到 IO 能力如下:
8K random read: 约 19000 IOPS
8k random write: 约 16000 IOPS
注:传统的15K FC 机械盘的 IOPS 是无法逾越200的。


图表 5阿里巴巴数据库标准套件ATPS性能
实际运营说明
新架构组合不仅在测试中给我们展示了非常卓越的表现,在阿里巴巴实际的应用场景中,所表现出的处理能力也达到了预期的满意水平。阿里巴巴最新推出的商人SNS系统“人脉通”的数据库平台最终部署运行在这套全新架构组合之上,主机主要配置信息如下:
品牌:Dell R710
CPU:X5520
内存:24GB DDR3
磁盘:8 * 64GB Intel SLC SSD
操作系统:Sun OS Solaris 10 Update 10
人脉通的访问链接(http://renmai.china.alibaba.com/)以及主页截图:

人脉通系统仅仅使用了4台上述主机,就非常轻松的支撑起了方便广大商友经营自己人脉关系的强大交互平台。与其他线上系统比较,这4台新架构组合的主机,所具有的CPU处理能力,已经与12到20台配备了2个4核的上一代CPU的2950的处理能力不相上下了,而其随机IO的处理能力更是可以与配有超过100块FC机械盘的中高端存储媲美。
总体和展望
随着 x86 平台芯片技术的飞速发展,PC Server 的处理能力与小型机的处理能力的差距已经越来越小了。虽然目前 PC Server 由于其自身的扩展能力还受到一定的限制,单机所能承载的 CPU 数量有限,但随着分布式架构的日趋成熟,我们对主机的 Scale Up 能力已经并不像多年以前那样非常看重了。而且,随着 PC Server 架构技术的不断发展,单机能够承载 CPU 的数量一定会在不久的将来得到较大的突破。
而 SSD 硬盘的出现,更是可能给整个存储产业带了较大的变革。很长一段时间以来,传统机械硬盘的单个 IO 响应时间一直难以有较大的突破,而随着 SSD 磁盘的出现,这一问题迎刃而解。虽然目前在容量方面还不如传统的机械硬盘,但我们相信随着工艺和技术的提升,SSD 硬盘的容量问题很快就会得到解决了。
通过拥有小型机一样处理能力的 PC Server, 加上可以与高端存储媲美的 SSD 磁盘,运行在高可靠性的操作系统Solaris上,同时结合Alibaba在软件方面的创新,打造高性能高可用可扩展的Web2.0经济型数据库平台已经成为现实,通过数十万的成本构建过去需要数百万甚至上千万的设备才能支撑的系统已经不再是梦想。
作为一个开放型的平台,数据库本身如何做到很好的可扩展性同时满足极高要求的可用性,是这个系统的关键点。在构建系统过程中,阿里巴巴的目标不仅仅是构建一个开放平台,同时也是以开放的心态与各厂商一起合作,共同打造开放的电子商务基础环境。


本文来自ChinaUnix博客,如果查看原文请点:http://blog.chinaunix.net/u3/111930/showart_2183494.html
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP