免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 13931 | 回复: 28

V7000走俏中端存储市场 高效存储是关键 [复制链接]

论坛徽章:
0
发表于 2011-03-03 14:26 |显示全部楼层
看过IBM和Gartner联合接受的一个视频采访后得知,Gartner前不久面向两千家大型企业和机构进行过的一次调研数据显示,存储用户在选购存储产品时,会综合考虑五个主要因素,一个是成本,一个是架构,控制数据量的增长,还有备份,最后是虚拟化。而即便身处中端存储市场的激战中,凭借五大产品性能优势,即虚拟化,自动分层,数据压缩(在开发),重复数据删除和精简配置,IBM去年发布的这款带有高端存储性能的中端存储产品V7000正在走俏市场。
     现把视频文字整理如下,笔者认为这是了解和掌握主流存储厂商在中端存储产品性能规划以及学习和分析IBM这款中端产品V7000性能的绝佳资料。

论坛徽章:
0
发表于 2011-03-03 14:29 |显示全部楼层
张广彬:大家好,现在是存储时间,我是张广彬。今天我们请来了IBM系统与事业部产品经理金微先生。
金微:大家好。
张广彬:还有Gartener公司大中华区存储首席分析师张瑾先生。
张瑾:大家好。
张广彬:那今天我们请来这两位嘉宾和我们一起谈谈高效的存储,那说起高效存储呢,跟用户的需求是紧密相关的,那么张瑾先生能不能先给我们介绍一下现在的存储用户面临的主要问题呢?
张瑾:好的,实际上我们是在前不久做了一次对大型用户进行了调研,调研的对象包括了差不多全球的差不多两千家大型的企业和机构,那么我们发现有关存储的问题实际上现在主要包含了五个最主要的问题,也就是存储管理员现在最关心的问题。首先,第一个是如何在不降低SLA的前提下能够降低存储的成本,也就是说成本仍然是第一位的。应该说经济危机给大家带来了一次很深刻的影响,就是存储或者说整个IT的预算都在明显的下降,但是大家发现实际上存储的需求丝毫没有因为这个经济危机的影响而有任何的减缓,所以说大家都在用更少的钱来解决比原来更多的问题,所以说成本是个首要的问题。当然这个问题在中国好像不是这样的,因为在中国的大型用户对成本问题的考虑并不像全球用户的那么明显,但是中国用户也需要在有限的资金内支撑企业的高速发展,成本或者说是这个存储效率应该是个核心问题,另外来说第二个最主要问题就是大家都希望能简化架构,实际上是因为这么多年来大家都采购了这么多存储产品,基本上所有的大型用户都有着大量的不同平台的完全不能互相兼容的这些存储产品,如何将这些产品进行统一管理,或者怎么整个来进行部署,实际上是第二个最主要的问题,实际上就是如何能够通过某种技术或者某种管理方法来减少厂商的数量或者减少不能够兼容的产品的数量。另外来说第三个就是如何能够控制数据量的增长,因为大家发现不论你用什么样的技术实际上技术的发展似乎总是跟不上需求的发展,那么如果能使用某种技术或者某种手段控制数据量的增长实际上也是一个很重要的方面,那么现在流行的重复数据删除或者很多的对用户权限的管理,然后来控制用户这个数据量的增长速度,这是一个重要的方面,另外来说就是如何能够重新架构原来的备份和归档这套系统,实际上大家也知道,大家的备份系统,各种各样的备份软件实际上是八九十年代通过这个clim server架构下的这个时代下推出来的,那么基本的基于的存储技术都是磁带的技术,而现在来看越来越多的人开始运用磁盘来解决备份恢复的问题,所以说,如果使用磁盘就有机会使用快照或者复制等等这些更先进的功能来提高aquaqu的这些指标,那么从这个角度来看呢,从磁带转向磁盘必然意味着一系列存储架构的一系列革新,最后还有一个重点,如何让这个存储更加适合虚拟化。这些服务器虚拟化实际上已经全面的改变了我们这个数据中心的架构的基本的构思和所有的设备采购。所以,存储在这里也是一个很重要的环节,如果存储不能够适应这个虚拟化的话,虚拟化是很难真正搭建成功的,而虚拟化一方面带来了很多成本方面的好处,而且也对存储产生了一系列新的要求。到底虚拟化本身怎么做存储怎么做虚拟化备份,这个带来了很多新的问题,所以我说用户现在关注的五大方面,一个是成本,一个是架构,控制数据量的增长,还有备份,最后是虚拟化这五个重点。如果把这五个重点再综合一下我觉得基本上大家讨论的就是如何提高效率。效率包含了采购成本,就是花费这方面的效率另外就是管理方面的效率,一方面需要通过新的技术来对现有的存储进行一系列现代化的改进,另外就是来解决异构这些问题来简化管理

论坛徽章:
0
发表于 2011-03-03 14:30 |显示全部楼层
张广彬:那刚才张瑾先生就谈到了存储效率,他其实提到的这个五大趋势,确实都跟这个效率有很大的关系,给人的感觉就是用户现在就是想有更少的钱来保存更大的数据量,而且获得更好的性能,这就是我们常说的要马跑的好又要马不吃草,但是这个任务看起来是不可完成的但它必须得完成,所以必须得有有利的技术给支持,那正好我们也听说IBM也提出了提高存储效率的五大技术。金微先生能不能给大家介绍一下。
金微:嗯,好的。提到这个存储效率的话呢,效率主要体现在两个方面,一个在时间一个在空间上,空间上比较容易理解。同样比如说是100个T的空间我能把它的利用率提高到90%,就是90T,如果再利用压缩呢又能超过100个T,这是一个空间的充分利用,这个是比较容易理解。第二个就是张瑾提到的管理效率和使用的效率,这个效率主要就体现在时间的效率上,我可以举个例子来说明这个问题,比如说对很多大型企业来说,他的环境下已经有很多存储了,有几十台不同类型的存储,也有上百T的空间,那他今天要上一个新的应用的话呢,他还要花时间,可能要花一个月的时间,重新去搭建一个新的存储环境,因为老的存储被占了,因为那边还有50%或者60%的空间我拿不过来,我要花一个月的时间搭构,搭构完以后告诉应用和开发商说我这个平台好了可以开始做,这个时候呢,这个应用组觉得这个IT部门的效率不是很高,我提一个需求,他要一个月以后回给我,所以我们可以看到存储效率的提高另一方面体现在我怎么样减少管理的时间同时怎么样减少架构变化所带来的时间消耗,在这两方面上,我们回复到刚才的问题。如果今天应用组说我今天新上个应用,如果这个环境是好的,是虚拟化的,他有发现说我这有100个T,我这里还有50个T有用,我很快就能抽出这资源来,然后告诉应用组你要的东西我已经准备好了,配置好了这个时候呢应用的人会觉得,呦!,这个IT小组非常有效率,隔天就完成了这个工作,另外一方面管财务的人也觉得呦!资源的利用率挺高的啊,今年初的投资今天还在用,另外我们从这个例子里我们可以看出存储效率在时间和空间上的体现。那么落实到我们具体的实践的技术上呢,有我们五个实际的技术。一个是虚拟化,虚拟化是我个人觉得最重要的一块,它使得硬件和数据不再黏着在一起了,硬件只是通过一些包装呈现给服务器,服务器可以根据他的需求增大或者减小,也就是修改在存储上的大小。第二块是自动分层,第三个技术是压缩,第四个技术是重复数据删除,第五个是精简配置。这后面4个说的快是因为他们有类似的地方,他们最主要的目的是在有限的资源空间下存储更多的数据,在有限的投资下获得更好的效果,比如说自动分层,如果说你有一个几百T的存储空间,那不可能所有数据的访问频度和关键性是一致的。那么现在已经有一些很好的介质,比如说SSD有很快的速度,那怎么样说把好钢用在刀口上,怎么用它,那要自动分层使得最需要的数据放在那个上面,同时还有一些很大的数据,一年没有人用了,那么能不能把这些数据找出来放在比较低一级的存储上,这就是分层存储的意义。那压缩和重复数据删除呢有点类似,他们都是在更小的空间去存储跟多的逻辑数据,压缩就是平时大家理解的压缩算法做的,重复数据删除就是说有数据来了跟整个存储空间做一个对比,已经存过了我就不再重复了,就这两种手段,基本就能达到一个T的物理空间能存到三四个T甚至上10个T的逻辑数据。最后一个精简配置的话呢,Thin provision 已经提了好几年的时间,那么简单讲就是说像银行一样,我们地区银行我们有一万个储户,每个人可能都存了一万块钱,那银行不可能把这么多的钱都放在金库里,只是准备一个常备的现金,有人来取款的时候可以支付给他,那Thin provision是同样的道理,他分配给比如说10台服务器,比如说我给你了一个T空间,但这个服务器空间实际上是在他需要用的时候才会分配给他,这样可以大大节省了物理空间所谓的无效占用,你占用了不用,所以我们5个主要存储的技术就是虚拟化,自动分层,压缩,重复数据删除,以及Thin provision就是精简配置。

论坛徽章:
0
发表于 2011-03-03 14:32 |显示全部楼层
张广彬:那您刚提出了这五大技术,讲述存储虚拟化的时间比较长,压缩的历史就更长了,但实时压缩是这两年才开始提的概念,然后包括这个自动分层啊,重复数据删除啊,还有自动精简配置都是近几年来发展起来的,开始有比较大发展的技术,那张瑾先生能不能从Gartener的角度来给我们介绍一下这五大技术现在应用的基本状况

张瑾:好的实际上我觉得,这五个技术,大家讨论时间比较长的有关的是虚拟化。实际上我先叉开点话题,就是说为什么服务器的虚拟化这么快的就推广开了,而存储虚拟化提出来要比服务器虚拟化要差一些,实际上到现在应用上不是特别多,我觉得是这样的原因,这就好像看一下中国历史,服务器虚拟化更像是毛泽东的“农村包围城市”,就是我现在最不重要的机器上使用。甚至是桌面机上使用,大家都能够有充分的用户体验,不断的改建它的版本之后,然后在慢慢在不那么重要的服务器上使用,其实它在跑oracle也不是什么问题,于是再往上提升,我觉得它的发展历程是这样的,而存储的虚拟化跟像是晚清的洋务运动,自上而下,大家都是在最高端的存储上开始实现这个技术,看看能不能推广开,最后正式这种方式似乎推广起来非常困难,首先,这个存储虚拟化技术本身的冲击者就是这个存储虚拟化的提出者,本身是一个矛盾,原来的存储架构是处于比较封闭的状况,各个厂商都为了巨额利润情况下,通过虚拟化实际上会影响他们的营收,另外一方面,从用户的角度来看呢,在这么关键的应用上面开始应用一个全新的概念,全新的架构实际上对用户来说是一个很大的冲击,所以我觉得从这个角度来看呢,存储虚拟化这种异构整合的方式实际上来说是从高端开始走实际上走的实在是太缓慢了,如果能从中端或者更低一级的开始会对这个技术的发展有好处,实际上无论是中国还是全球都是这样的,这是我对存储虚拟化的一点看法啊。
张广彬:这个我插一句。您的比方很好,我在一两年前打过一个比方,可能没这么好,我觉得简单来说呢,服务器虚拟化实际上在初级是把一个物理服务器分解成多个虚拟机,然后它其实是一个分的过程,存储的虚拟化是把异构的存储整合成一个存储池,是一个合的过程,就像您讲的这个中国历史的现象,分永远都要比合要容易,我们看世界历史也是这样,这个前苏联分成独联体分成那么多国家,一夜之间就分了。虽然之前是埋下很多种子,像欧盟搞了那么多年也没搞起来,这确实是,我插一句。您继续。
金微:这看起来存储虚拟化的前景不太乐观啊。
张瑾:难度实际上大.它的好处还是很明显的,我想最后还是要走向融合走向标准化,实际上所有的IT技术都是这样,所以说我对这个存储虚拟化是前途是光明的。
张广彬:就像欧盟如果变成一个国家那是多么强大啊
张瑾:没错没错,刚才还说的技术还包括自动分层,我觉得自动分层实际上提出时间也是蛮长的,我觉得真正发展起来是在SSD出来以后,因为SSD对这个影响太大了,突然能够提供十倍的性能,但是十倍的价格这样一种技术,实际上比原来的光纤和SATA的差别要大得多,我是这么来看的,SSD现在开始广泛得到大家的注意,如果你想用SSD那么自动分层就成为一个必须的东西,原来是没用这种自动分层的时候在一个卷实际上是要建立在一个介质上的,这种方式是显然不能充分利用SSD的性能的,或者说他需要一个极高的成本才能实现,所以说SSD和这个自动分层实际上是非常紧密的捆在一起的,现在可以看到他在迅速的发展起来,而且我们看到的另外一个特点就是说SSD在推出的时候大家都认为这是个超豪华配置的,只有最高性能的应用才能配的上,才能够用它,原来大家一直是这个概念。最开始的SSD首先也是在最高端的存储设备上开始应用的,但是后来大家发现呢,SSD有另外一个好处,如果你有了自动分层的话,利用自动分层和SSD两个技术合在一起,你就可以让一个中端存储拥有一个高端存储的性能,就是对应用来说。也就是说,SSD如果有了自动分层就不再是一个超豪华的针对最高端的一个技术了,而是说他能够减低存储成本而不是提高存储成本。如果你把一个系统从高端转移到中端的差价可能早就弥补了SSD和硬盘之间的差价,如果SSD只占一个很小部分的话。所以这是我看的的一个趋势,所以自动分层和SSD在中端存储上的应用的前景更加广阔。另外就是压缩和重复数据删除,压缩的时间太长了我不再评价,重复数据删除是我近些年来我看到的存储技术里面发展最快的一个,从产品化到真正走向主流也就用了差不多三四年的时间,任何存储技术都没有说有这么快的走向主流,原因实际上也很明显,他对成本的降低实在是太明显了,基本上是是十比一这样的降低成本,用户可以很快的收回这个在重复数据上的投资,在原来对他安全性可靠性的考虑也经过事实证明大家已经广泛采用也没有出过什么问题,所以说重复数据删除已经成为主流。实际上大家现在讨论的的是除了以前大家讨论的备份归档以外如何能够在主存储上面或者说是镜像存储上面能够应用这个技术来降低成本,从这个角度上来看这个技术的的未来是一片光明。Thin provision这个精简配置应该说也发展了差不多5年的时间,由一些小的厂商提出,其中一些小厂商已经成为大厂商,然后大厂商也在慢慢地广泛采用,Gartner在三年前就已经提出了VISONER这个观点,因为这个技术实在是太重要了,所以说在未来如果没有Thin provision这个功能,这个产品将在市场上是没有竞争力的,这大概是3年前我们的预测,预测的差不多是今天的时间,从现在来看,Thin provision确实已经成为一个需要广泛采用而且已经得到广泛验证,所以说是一个很重要的技术了。

论坛徽章:
0
发表于 2011-03-03 14:36 |显示全部楼层
张广彬:张瑾先生刚才实际上已经提出了五大技术应用的大的趋势,那么其实说完这个大的趋势以后我们其实有必要举些具体的例子我们来说明,像张瑾先生说的这五大技术都不是很先啊,比如说以IBM为例,存储虚拟化SVC发展了很多年了,像SSD和自动分层DS87都已经支持也都是一年多以上的事情了,那包括自动精简配置,XIV这样的系统也支持,但是在我的印象中,IBM好像在好几年都没有推出像V7000这样一个集IBM技术大成的产品啊,包括有这个SVC的功能啊像自动分层easytier的功能,或者像XIV的管理界面风格啊,DS8000的raid代码集中在这么一个产品上,而且他是一款中端的存储产品,也符合张瑾先生所提出的中端市场发展的趋势,很自然的有这么一个问题,IBM怎么选在在这么一个时机选择做这么一款产品,把他们的功能全部集中在一个产品上是不是比较困难?
金微:恩好的。那其实是说因为一些市场的变化的因素呢,我们选择去做中端的虚拟化,那么一开始张瑾先生提出的存储虚拟化一直在高端没有往低端走这样的情况,IBM也在很早就感觉到了。我们也出了一款所谓低配置的SVC,它的硬件比较小软件收费也比较低,说实话这个市场效果一般,销售量还不如这个高端的好,我们发现这个中小型的用户觉得其实虚拟化好,但是我也不需要一个这么专业的纯虚拟化的东西,最好你给我一个东西,我有虚拟化需求,但它也能满足一般的盘阵的要求。在这样的情况下,我们在中低端市场,虚拟化和盘阵功能融二为一的话对很多用户追求简单来说它不要求特别专业,是个更方便的选择,那么基于这个思路呢我们SVC的软件加入了RAID功能使得他可以自己带自己功能的盘,也可以虚拟化外置的盘,在RAID的上面,在市场上有很多的选择,正好IBM在8000上做的RAID上有很多经验的积累,那自然而然地我们把最有经验的8000的RAID的代码移入到这个StowizeV7000里面去的,是这样一个想法,接下来这个easytier也是现在市场上比较热的,比较有需要的功能,有SSD以后也是自然而然把这个功能加进去了,随之,SVC我们的新版本也会支持easytier,这两块很主要,以SVC为核心加入了盘阵的功能。接下来说到这个XIV的界面融入,其实在IBM这个产品线上客户都有一个小的困惑,说这些不同类型产品的管理界面有区别,虽然我们通过一些特别的软件比如TPC做一个总控中心,但是客户还是希望不同类型的产品的管理界面最好还是一致的,风格统一。
毫无疑问在我们的产品线里面对使用感觉最好的,也是使用点的时候最人性化的界面就是XIV这个界面,如果有一些存储的基本常识的话,就很容易在里面找到你想要找的工作,整个图形设计也赏心悦目,我们把XIV的界面用到了V7000,也用到了新一代的SVC软件的界面上,今后呢DS8000呢,可能会用同样的界面,这是一个界面统一的一个问题,这些问题并不是厂商想集中就集中,而是看到市场有这个需要正好我们有这个技术把他合在一起,这个集成难度呢,从实验室来看比完全开发一款新的要低很多,成熟很多,当然也还是有一些难度,因为不同代码要融合在一起,好在我们已经经过了这些测试,看起来还是一个比较稳定的代码。
张广彬:那按照您的介绍我们,我们至少在存储虚拟化上清楚了SVC和V7000的一些区别,但是我们从这个发展的路线图上来看呢,V7000也是要支持八个节点的,这点和SVC是一样的,我们会想未来这两个产品会不会有种融合,就是说合成一个单一的引擎,自己本地带盘就是V7000,如果完全不带盘就是SVC,IBM有没有这种打算,你怎么看这种猜测。
金微:IBM现在对V7000和SVC的定位还是比较明确的,SVC定位是在企业级,相对比较高端比较大型的系统里面,当然也可以以一个相对比较低的入门的一个两节点去做,它是一个纯粹的虚拟化的东西,他所定位的是高端,比如说他有一堆8000,HP,EMC高端,他要是想做一款存储的虚拟化呢,IBM会推荐一个多节点的SVC,那么,IBM在现在的存储测试评比里面呢,SVC节点加8000也是达到最高性能的结果,所以这就是SVC定义在企业级的这样一个位置,V7000基本定位是在线中端,如果你需要一个中端的机架式产品,现场你有一些中端的IBM,EMC产品需要虚拟化,我们可能会推荐V7000,V7000的将来是会发展到八个节点,现在V7000单节点的硬件配置或者说是硬件处理能力比SVC还是要弱一些,举个很简单的例子,V7000单节点8个G的缓存,SVC是12G的缓存,从今后的发展来说,V7000在发展,SVC也在发展,所以V7000发展到8个节点的时候,SVC有可能发展到更多节点,每个节点有更高的纵向发展能力,所以现在我们保持了企业级和中端这样两条的产品线。

论坛徽章:
0
发表于 2011-03-03 14:37 |显示全部楼层
张广彬:刚才您提到V7000单个节点的性能比SVC还是要差一些的,但是放到中端处理系统上,V7000的处理能力还是很强的,有些友商是在高端的采用这种搭配,高端存储的入门级他来提供一个存储的虚拟化,SVC的功能可能就相对比较高端了,V7000作为一个中端的存储虚拟化已经是很强了,easytier也是消耗存储资源的一个软件,IBM还声称V7000在测试里面只消耗了里面50%的处理资源,我个人认为跟使用X86的CPU有一定的关系。但是IBM怎么看X86CPU在V7000里面的应用。
金微:嗯好的。这个里面其实有两个问题,一个是您说的现在的存储系统有很多的处理能力,这些还没完全用上。另外是X86,我们在设计一个中端产品的时候呢,往往他有不同的设计的想法,有的时候要在达到最好的一个性价比的条件下尽量精简我们的价格成本,这使得客户也可以以一个比较低的价格去做到,还有一种情况就像今天我去买一个笔记本电脑,卖的人问我以后你的电脑要跑哪些软件,我说最主要是要跑OFFICE,但是我以后肯定要放图形处理软件,还会装游戏还会装别的一些很消耗资源的东西,这个时候的话,销售人员就会在想要推荐的是不仅要满足现在的性能,还要满足未来他要装的软件会消耗资源,刚才您说的Easytier很消耗资源,其实不光EasyTier很消耗资源,包括V7000以后会加入实时压缩,应该讲已经在计划图上了,也是要消耗CPU资源来做,所以他要预留一部分空间,为以后的一些功能准备,它不是一个不是纯粹只是说为了性能而准备的机器,这是我们预留这些性能的原因,那么另外一方面提到X86CPU在存储系统中的应用。我们从实验室开发的角度是这样看的,X86CPU加上类似于Linux的这样的CORNO是一个非常稳定成熟的平台,而且他还有一个优势是他非常适合在那些功能非常丰富的产品里面去用,因为它上面做一些软件产品的开发的话,周期会比较短,市场上的人才也比较容易找到,是有这样一个情况。另外我们还有一些产品用了POWERPC的CPU,这块产品主要是突出他的稳定性和他的高速,所以这两种CPU都各有所长,但是在那种需要很多功能的场合下,X86CPU在存储控制器上还是有很大价值的。
张广彬:说到这里呢,不知道张瑾先生有没有类似的感受,我知道不管现在是做报道也好,还是像您这样做评价师也好都越来越麻烦了,像以前我们不太关心处理器的事情,不是POWER就是POWER PC,其实不用想太多,现在的英特尔这两年有点大举入侵,搞这个频率啊那个几何啊,这个要花很多精力,这个在很大程度上要涉足服务器的领域了,所以从您站在Gartner的角度上怎么看X86CPU这两年在存储系统上的应用?
张瑾:我是这个看法,现在我特别同意张广彬这个看法,从原来的POWER到现在的X86,不单单是某一个领域的存储,从高中低端来看,X86都在大举入侵,包括前一段时间的EMC的高端的产品现在也在开始用X86的平台了,我觉得最主要的原因还是在性价比上,性价比不一定是说的这个产品本身的性价比上,很大程度是这个开发的性价比,毕竟X86是一个相对标准的平台,大家接触的更多一些,而他的标准化程度更高一些,它开发起来的方便程度最大,而现在存储产品之间的竞争越来越少,而更多的是在CPU和价格上,如何能够设计出来一个更好的架构,如何能够更快的开发出来一个新一代的架构以及如何在这些架构上体现更多的软件功能应该是这些存储厂商产品开发竞争上的重点,所以说开发速度和成本是非常重要,所以X86相对power的优势就体现出来了,另外一方面就是X86的纵向扩展能力太强了,自从有了多核技术以来,如果想在X86平台上拓展更多性能,如果加入多核,他的扩展起来会更加方便,无论是增加内核的数量还是增加内核通道的数量,都相对方便,而且现在看X86在存储上集成性也非常强,对DME的集成,他可以很高速的,大幅地提升RAID的性能,以及对SRC的校验等等,有一系列的新的功能进来。其实说我觉得这个趋势还是很明显的,X86在存储市场会有更多的市场份额。
张广彬:其实不光是用户要降低成本,其实存储系统的开发商和厂商更需要降低成本,降低成本对自己有好处对客户也有好处,成本和效率是有很大关系的,像自动分层的技术,其实很多用户还是对新技术有怀疑的,对于宣传,特别是发现实际应用的效果没有宣传的那么好的时候,他们就会更加的怀疑。那么像IBM的Easytier这个技术的实际效率如何,在V7000中的应用,其实推出的时间也是一年吧,从高端进入中端,对于用户而言,它的作用意义有那么大吗?
金微:好的,要讲到自动分层的技术的效果话呢,我们可以深入一些,稍看一下自动分层实施的原理,原理本身的原则很简单,找到最热的点放在高效的存储介质上,我就期待下次访问的时候会更好一点。那这个里面有三个事情会影响到自动分层的效果,第一就是,你是不是真的把你将要发生的热点放进去了,像一个预测股票一样,大家都是看过去的历史来分析,如果你没有真正把这个热点放进去的话呢,可能效果就不好,第二点就是你放进去的这个热点的颗粒度是不是足够的好,颗粒度就是说比如你在这个磁盘上面有真正的是10M的颗粒度是热的,存储单元是在1个G的存储卷上,迁移的话是要把一个G都迁移过去,现在就是其实你把很多的SSD的空间都占了,但它并不是真正的热点,跟颗粒度的程度也很有关系,第三点是迁移的时间点是不是合适是不是影响了,因为迁移的时候对磁盘内部来说又发生了读写,这三点很重要,也会直接影响到自动分层的一个效果。在这个里面我们先看一下IBM的效果,Easytier的测试中,100个T的磁盘空间加入3各T的SSD,但是他执行下来的I/Os的效果能达到翻倍的效果,就是说Easytier的热点迁移功能还是很有效的,那么我现在也想说一下我们这么有效的原因,第一个是很直接的,他们的颗粒度是很小的,不是整个卷,是卷里面的一个原子EXTENDER,可以到16M,甚至几M的单元,这样他能把真正的热点放到SSD里面去,SSD存储的空间真的是应该是比较热的热点,第二块是一个关于预测方面的,IBM现在预测的策略是假设客户是以24小时为周期不断滚动的,那么为什么这么说呢,如果客户有一个程序,程序在一个月的时间里面,在这100个T数据上不断的滚动,每次滚动的热点都不一样,这样就很少有自动的算法能发现他下一次的热点在哪里,因为他没有规律性可言,那么其实大多数客户每天都是按照规律性的营业在以24小时为一个周期,那么在这24小时里面排序出来最热的点在晚上比较空闲的时候搬到那里去,那第二天你可以期待这部分的东西有很好的效果,这部分的结果还是对的,因为在一般的热点是数据库在日志上,在一些特别忙的表上,这些东西都是我们能够预测到,另外就是在预测之前屏蔽掉一些不必要的东西,因为SSD这种介质和内存芯片还是有很大区别的,如果我们发现是一个顺序读写进来的话,那就不再给它做排序,或者不在记录在要迁移的排序范围,那么通过这样的手段来提高预测的准确度,这个是我们在这个方面做的比较好的地方,所以通过这两个方面大大提高了有效性,如果在正常的RAPS环境下有可能加入3%的SSD来提高翻倍的效果的性能。
张广彬:您刚才也提到很重要的一点,迁移的颗粒度的问题,我听说V7000的迁移的颗粒度是可以调整,张瑾先生了解其他厂商有可以调节颗粒度的设置吗?
张瑾:主流厂商几个大的厂商似乎都欠缺这个技术。

论坛徽章:
0
发表于 2011-03-03 14:39 |显示全部楼层
张广彬:那V7000应该是几个大厂商里面第一个采用这个技术的这种产品。您刚才已经谈了一下颗粒度的几个好处了。在这方面是否还有需要补充的吗?比如8000是不是也能够支持这个技术?
金微:这个算法在8000和7000上基本上是一样的,是同一个算法,在这里的话呢,我觉得是说,首先如果您是每天都是日常的有这种周期,因为人还是要比机器要聪明很多的,如果您觉得您的应用确实是一个比较有周期性的应用,那你就放心大胆用SSD,在效果上会看到他的提升,如果你觉得你这部分是非常随机的部分,人都不能预测说下一个会不会有热点的话呢,那你可能要试一下SSD是不是有效果。如果没有效果就没有必要去大规模的去部署SSD和EASYTier部分,不如把你觉得比较重要的部分锁定在里面,这也是一个有用的做法。
张广彬:那么在Easytier提供了这个选择是吗?用户可以锁定,不让他迁移。
金微:嗯对,其实是这样,EASYTier的功能是针对每个存储是可以开或者关,然后我们还可以把SSD截止自身定义成直接的基础的存储,像磁盘一样在使用。
张广彬:那张瑾先生在介绍五大技术的应用现状,提到压缩不是一个很古老的技术,实时压缩是这两年才开始提起来,就像被IBM收购的Storwize的这个公司就是以实时压缩见长的,一般人都会觉得压缩不管怎么说他都会消耗CPU的一些周期来做这个事情,特别可能是对IO密集型的应用,对这个性能还是会有一些影响。
金微:那IBM是这么看,我先澄清一下吗,我们这个产品现在叫STOREWISE,他完全是IBM自己在开发的,开发完以后我们发现一个事情就是收购了STOREWISE这个公司,那IBM觉得这个名字很好,智慧存储,与IBM主题很契合,那就把这个名字先拿过来给V7000先用,那么V7000以后也会有一些现在压缩功能,原来这个公司做的这个压缩技术呢,他是一种在缓存里面做的,或者说在服务器内存里面做的实时的压缩的东西,在算法上呢,压缩出了这么多年,为什么这个公司在这么老套的东西还能这么出名还能这么挣钱,原因是他的这个东西在实时的时候呢影响的很小,有一个大家都很容易理解,他的实时压缩不是数据存储下来以后再做压缩,这个时候你要消耗很多IO读写,从磁盘上读出来,会很浪费时间,他的压缩实际上数据一来的时候,数据就在这个引擎这个存储里面去执行这个算法,非常高效的算法,执行以后再把数据送出来,他的工作模式基本上是NAS这样利用网络系统,在原来的客户端和NAS服务器之间被透明的加入了一个节点,客户也不知道这个事情,但是数据流经这个数据节点的时候,他会在他的内存里面做压缩,压缩以后在沿着IP送出去,考虑到他在内存里面执行的操作,和算法的有效性呢,在这个里面消耗的延时和在网络上传输,往磁盘里面写数据的时候也是非常微不足道的,所以这样的实施压缩可以近似的认为是在IO密集的在线性能是几乎没什么影响。是这样一个原理。
张广彬:包括在之前我们在闲聊的时候金微先生也提到了,实时压缩不太主要在内存时候压缩,不大涉及到跟磁盘上面的比对,所以他对性能上的影响确实很小的,那么重复数据删除技术跟他有点像,在效果想有点像,但是不可避免的在磁盘上要消耗这个读写,但是压缩的精简的效果比较好,那么张瑾先生刚才也提到了,备份在系统里面,重复数据删除技术要很普及了,几乎是标准技术了,行业认为下一个发展方向在主存储里面做重复数据删除,先从张瑾先生角度来看,这个时机现在快到了吗?
张瑾:我觉得这个时机要这么来看,现在虽然说是主存储但是可定不是跑数据库的这些最需要性能的系统,应该说现在的用户的数据量里面大量的数据是这些,以HSM的观点来看应该是放在二三级存储的,但是现在磁盘便宜。大家都把数据堆在这些磁盘阵列里面,所以很大程度上是对这些数据的处理。我认为现在已经有很多的用户,尤其是在北美已经在主存储上开始应用这个重复数据删除的技术,但是实际上应用的效果来看,主要针对的也是现在不怎么应用的这些数据,而不针对 IO密集型的数据,对于IO密集型的数据来看,客户已经花了这么多钱买个高端的存储他追求的这个性能,他一定说不会因为为了再剩回一部分钱再把性能牺牲掉,实际上这个就矛盾了。我觉得针对不同的人不同的数据采用不同的技术,我认为是这么一个情况。

论坛徽章:
0
发表于 2011-03-03 14:40 |显示全部楼层
张广彬:那么站在IBM的角度来说,V7000在未来会不会提供对于主存储同时删除作为一定应用情况下给用户多一个选择,有没有这方面的计划?
金微:IBM是有这个打算,在说这个打算之前呢,我们再来讨论一下,从一个存储设计开发商的角度是怎么来看,在主存储上加入这两个功能的。这两个功能如果加进来的话呢是针对一些非核心数据,而且是不实时比较晚上时间空的实时控制的,如果在实时数据很忙的时候做的话,他必须满足两个很大的前提,比如说这个存储的数据的处理能力和他的内存必须足够大,我有额外的这些资源去做实时的这些东西,IBM现在拥有的这两种数据技术来看呢,他都是比较消耗内存的,因为速度关系,比如说,重复数据删除,大家以前了解过,他有两种算法,我们用的是比较快的前处理算法,他就有一个要求是要要一个索引表,所有这个数据的索引表,可能是几个G,在内存来说很大,那你也可以想象一下,几百个T的内存只有几个G的索引表,已经很精简了,一直吊在内存里面,一旦有数据进来我就进入我的索引表里进行根据规则去比对一下,就可以发现他要不要存,只有这样的话才能很高效,如果一个数据进来你要到几百个T的磁盘里面全部便利一遍是不可能的,这个是无法实现,所以说这个可以理解说这个在控制器上在设计之初就必须要他能够扩很大的内存和很大的CPU,那这样就带来一个之前讨论过的问题,开发商也有这个成本问题,即使一开始你这个存储一开始你就可以插两个或者四个CPU以后可以到八个,内存现在可以插128,以后可以插256,但你这个硬件框架必须很大,否则以后没有办法扩展,这样就会对控制器的成本挺高的,入门级客户就会觉得,同样是16G缓存为什么你的要比别人的贵,因为我有一个很大的框架我还要做这块,所以这个也是有一点矛盾的地方,从我们的角度来讲是希望V7000这样着重于功能的产品是未来能加入这两方面功能的,那从现在来看呢,实时压缩现在对硬件资源的占用相对还小一点,那么现在从我们整合来看呢,可能是第一步把实时压缩这一块呢先整合到V7000里面去,那重复数据删除以后也会考虑整合到里面去,因为这两个功能有相似也有不太同的应用范围,那么我一直举得例子是说呢,可能有个用户每天都发一个500G的文件到一个存储器上,那如果这个存储器拥有压缩功能的话呢,他每天都把这500G压缩到50G存下来,每天都存50G,如果是有重复删除的功能的话,你今天给我的这500G相对昨天的500G只有两个G改了,只是把两个G的东西送过去,也就是防重会把他所有的内容拿出来进行比较一下看看是否重复,压缩的话可能是每次都要做,还有一个情况就是之前我们提到过,有很多数据类型进来的时候不需要你去做压缩,最简单的就是已经压缩过的视频,包括说是已经修改过的视频,从我们的角度来说不太需要做重复数据删除的,虽然你可能觉得你的电影只改了一分钟,但是你的存储结构从上到下都变了,对硬件来说整个文件都变过,我们现在也希望能发明一些比较智能的算法,能够识别出这些东西,就不要浪费时间了,所以这些问题都解决以后呢,这两个技术在实时存储上的应用会更广泛。
张广彬:我们刚才说了很多都是在说存储,很多存储人都知道我们在谈存储的时候后面总会有个影子,就是服务器,虽然服务器是叫服务器,但实际存储是为他服务的,我们提的这五大存储技术里面,最重要的是服务器虚拟化,那服务器和存储的集成是很重要的,IBM作为同时也是服务器的大厂,相对于一些单纯的存储厂商来说,还是有些优势的,比方说IBM前一阵子也是发布说管理工具和IBM system director集成来更好的管理,那么您能不能详细再把这一点给我们更详细地介绍他的好处具体有什么。
金微:好的,我来做一个比喻啊, 因为这个软件本身讲起来相对比较复杂一些,这个接口软件大家都很理解,就比方在一个监控器前我可以看到整体所有的地方每个环节的情况,有一点像监控视频,在这里看到每个角角落落的情况,那么有些角落就是服务器的,他可能是在一个比较明亮的范围,我通过某种方式去设想,那么还有一些就像是地下室,还没有灯光,必须有一个红外的东西才能够去做,这个时候呢我在检测的时候呢,不可能把所有的摄像头都做成无论是黑夜还是白天都能看到,这样的成本太高,而且不现实,而且可能都没这样的产品,所以现在这个管理工具的集成大概是这个意思,比如说对管理者而言呢,还是有统一的一个视角,我看到所有的东西包括存储服务器,哪里出问题了,很重要的一点,在这个复杂的环境下,如果这一点出问题,我可以沿着这一点能够找到到底是网络上还是存储上有情况,一张整的图都能看到,那么但是到具体的去找这些监控数据或者检测就好象摄像头的部分,他也是有分类的,那这个就是我们说的管理工具与system director集成的一个意思,那些管理工具,比方说TPC fordisca甚至说是直接磁盘管理工具,就好象是说是最前端的摄像头,他最了解存储出来的指令,然后他通过一个统一的界面呢,送到system director 的终端界面上。让这个管理者能够从上至下,单点的看到所有的环节,那这个也是我们每一个企业级用户希望能够这样,他不要切换不同的这个界面去看这些问题,那么另一反面,system可以更智能的理解从各个不同,像服务器或者存储过来的信息的含义,呈现给管理者所谓智能化的一个解决问题的推荐,所以我们做的就是这么一个事情。
张广彬:那么正如2位所言,存储效率正是近期的热点,而且在未来的一段时间内也会继续的热下去,包括张瑾先生从他本人和Gartner的角度给大家介绍用户应用情况和发展趋势,那么金微先生呢给我举了更生动更具体的例子,不知不觉咱们就一个小时了,确实我们还有很多话题想谈,今天也就谈到这里了,希望下次能尽快的有机会我们再二位嘉宾交流业界这些新的动态。谢谢二位。
金微:谢谢!
张瑾:谢谢!

论坛徽章:
0
发表于 2011-03-03 14:42 |显示全部楼层
文章有点长啊...哈哈

论坛徽章:
0
发表于 2011-03-03 17:48 |显示全部楼层
这个长度,看完不太可能
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,8.5折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时8.5折扣期:2019年9月30日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP