Chinaunix

标题: 今天看到惠普P10000的相关介绍，有点不明白……求指教！~ [打印本页]

作者: 幽云十八 时间: 2011-09-01 16:13
标题: 今天看到惠普P10000的相关介绍，有点不明白……求指教！~
今天到惠普官网看到惠普P10000的资料介绍，有点不明白，特请各位大哥解惑！~

红框中的两项，一项是 Control Cache ，这个想想，可能应该是指的控制器缓存。而后面一个“Cache”就犯迷糊了……

“Data Cache”这是啥玩意儿啊？

难道是惠普收购3PAR之后整合的一个新架构？里面创新添加的新模块么？

知之为知之，不知为不知…… 小弟实在是不明白鸟！~~

特请各位高手指教！~

作者: cnpmc 时间: 2011-09-01 21:30
本帖最后由 cnpmc 于 2011-09-02 16:04 编辑

今天到惠普官网看到惠普P10000的资料介绍，有点不明白，特请各位大哥解惑！~

红框中的两项，一项是 ...
幽云十八发表于 2011-09-01 16:13

Control Cache为控制缓存，或指令缓存，Data Cache为数据缓存，数据缓存专属用于数据I/O的缓冲暂存，而控制缓存专属用于控制器操作系统运行所需的缓存开销.
此功能跟HDS学滴，在1995年之前，包括当年HDS推出的7700结构，都和EMC、IBM的产品有相似之处，但当HDS在7700结构上进行数据缓存与控制内存分离之后，HDS开始发展一条与EMC、IBM这类存储厂商完全不同的技术发展之路。USP-VM的Control Cache为16GB，USP-V的Control Cache为24GB，但HDS VSP已经取消此功能了，反而跟EMC DMX一样，不再区别单独Data Cache和Control Cache了，而HP 此采用此技术，而且Control Cache最大支持到256GB，却不一定能提高性能，HDS后来发现采用此技术还是没办法跟EMC VMAX抗衡，最后在VSP上此功能消失了，感觉此技术已经走入历史了，但HP突然还在使用此技术，这正是HP的风格，路子有点野，包括EMC DMX和IBM DS8000系列也从来没有采用此技术

作者: pingfan2 时间: 2011-09-02 13:12
楼上是高人，我这里补充个图

另外有个链接希望能帮助您理解：http://stor-age.zdnet.com.cn/stor-age/2011/0830/2055049.shtml

作者: myguangzhou 时间: 2011-09-02 15:48
期待更多熟悉3PAR的同学

作者: cnpmc 时间: 2011-09-02 16:50

楼上是高人，我这里补充个图

另外有个链接希望能帮助您理解：
pingfan2 发表于 2011-09-02 13:12

此外采用Control Cache和Data Cache分离技术难度很大，P10000最多支持8个控制器却要消耗256GB的Control Cache，因为是多CPU、多控制器协同工作架构，操作系统都基本上都采用基于Linux架构，所以要解决多处理器集群系统中微处理器通信和数据处理系统，高性能集群系统必须采用“多CPU+多任务操作系统+消息传递+线程”架构，而HDS USP-V最多可以支持32个控制器却只必要24GB的Control Cache，而且为了提高i/o性能，HDS挖心空思，还另外采用了数据索引内存驻留技术，把一部分访问频率高的热点数据的索引文件和日志系统放在Data Cache当中，动态地将I/O负载均衡到适当的控制器高速缓存中，此技术让HDS在技术上和高端存储市场上占有很长时间的便宜，但EMC VMAX一出来后，HDS发现即使采用技术还是在综合性能上拼不过EMC VMAX

HP P10000上8个控制器需要256GBControl Cache，而HDS USP-V 上32控制器却只需要24GBControl Cache，由此可以看出HP并没有很好解决多处理器集群系统协同处理及多CPU流水指令集优化问题，因为也采用了Intel 至强2.8GHz的CPU，HDS VSP和EMC VMAX一样采用同类型X86 CPU，但都已经不采用引种分离技术，IBM的DS8000从来就没有想研发此技术，自然也就没有采用了

另外HDS原来的AMS和AMS2000系列产品当中还保留此技术，AMS200的Control Cache为0.5GB，AMS500的Control Cache为1GB，AMS1000的Control Cache为2GB，而AMS2100的Control Cache为1GB，AMS2300的Control Cache为1GB，AMS2500的Control Cache为2GB

从市场长远考虑，HP P9500 OEM HDS VSP合作前景不妙，很有可能会停止合作，只卖自家的东西了，但想在高端存储市场上占住脚，HP不是那么容易了，现在的HP毕竟不是以前那个HP了，现在HP只有500多亿美金的市值，如果PC业务一出售，打印与成像业务再一卖，HP市值大概会损失一半，一下子可能沦为别人的猎物了，哈哈，说远了，但内部的业务的整合和拆分会决定P10000的命运了。。。。。

作者: 幽云十八 时间: 2011-09-02 21:06
回复 5# cnpmc

高人！~你们都是高人！~非常感谢，有些明白鸟！~

作者: hp-ux民工 时间: 2011-09-03 08:50
据我所知，hds有一代share memory和cache memory是在一起的，后来分开了，不知道既然当年就才用先进的技术，后来为什么又放弃那？

我并不觉得这和技术是否先进有多大关系，而目前的hds把share memory和cache memory放在一起，并不是不需要share memory，而是share memory会占用cache memory的容量，所以目前如果满配，虽然最大cache memory1 TB，但是并不是这1T都是作为data cache来做数据交换，还有一部分是做share memory来用

作者: spook 时间: 2011-09-05 09:24
我猜吧，Control Cache对应前端 IOPS部分，用于处理大量IOPS， DATA Cache 针对后端存储读写，把零碎IO汇集后一次性写……
每个控制器带的 Cache是一定的，控制器越多Cache越多

有了SSD，再分开就有些浪费了，又不能动态调整，干脆整合到一起用

作者: wolfop 时间: 2011-09-05 18:05
想想看IBM的DS系列真是偷懒，基本上设计全部靠了自己的P的技术。呵呵。

作者: tangye 时间: 2011-09-07 10:56
两组cache分开管理

和软件设计架构有关

作者: smallants 时间: 2011-09-11 00:37
1、HDS的VSP并没有取消控制缓存和数据缓存分离技术，而且还进行了优化。
2、“EMC VMAX一出来后，HDS发现即使采用技术还是在综合性能上拼不过EMC VMAX”，这话不知从何说起，呵呵！

作者: saintdragon 时间: 2011-09-12 21:53
不太清楚控制器搞那么大缓存干嘛？？
通常控制器有2G内存足以，其他都用作数据缓存

作者: pingfan2 时间: 2011-09-13 12:42

不太清楚控制器搞那么大缓存干嘛？？
通常控制器有2G内存足以，其他都用作数据缓存
saintdragon 发表于 2011-09-12 21:53

有道理... 存放元数据索引？

作者: noodles11 时间: 2011-09-13 13:24
Symmetrix的Cache 分配原理：http://blog.sina.com.cn/symmetrix

简单来说CODE将Cache分成三大块.

1.Common Area

内部使用的区域,包含了内部使用的buffers和表.

如果一个存储系统本身就没多大的Cache,然后这块占了一大部分,最后留下给客户的主机能使用的Cache才一点.在中端入门存储上倒也真有.

2.Device Tables

每一个逻辑卷都会对应该区域的一个表,可以通过这个表快速查询一个track在cache slot中的地址.

3.Cache Slots

用户数据的实际存放空间.

作者: ffaatt 时间: 2011-09-20 17:35
很久不做技术工作，以下说法纯属印象，可能不太准确。

首先存储设备控制和数据两部分工作在逻辑上都是分开的。比如中端的IBM/DS，HDS/AMS，HP/EVA。

控制指的是用户管理和存储管理，用户界面的管理比如响应外部用户管理的需求，提供一个嵌入式的WebServer，修改配置之类，这部分都是类似通用CPU和操作系统，必须有自己的内存(或Cache)。存储的管理可能包括RAID组、卷、LUN、快照、复制、ThP等等，这里可能有自己独立的CPU，存放各种元数据的内存(Cache)。
数据部分主要是IO处理、RAID校验之类底层的工作，也需要CPU和较大的数据Cache。

不同厂商的实现很不一样，有些控制和数据的处理器是分开的，像HDS/USP，我叫它“半软”，但是VSP和USP架构是不同的。
有些是合用的，如EMC/CX，完全是通用CPU和通用操作系统实现的，可以叫它“纯软”，大部分国产品牌应该都是的，成本低；
还有一些控制用通用CPU，数据用ASIC之类，比如HP/3Par，IBM/DS，是“偏硬”的，但是不可能有“纯硬”的。

总体上各家的阵列都越来越软，因为通用CPU性能越来越强，开发生产成本低，但是大家一般还是认为“硬”的更有特色，更高端。

内存逻辑上肯定是控制和数据分开的，有些在数据内存里面还要划分“读/写/镜像”三种。但是在物理上，可能是放在一起的，如HP/EVA，EMC/CX/DMX。

标榜自己比较“硬”的产品如IBM/DS，HDS/AMS，HP/3Par肯定都是两种Cache分开的，一般这类的都喜欢吹嘘性能，比如SPC-1测试一般都是它们在玩。

以前HDS/USP一直很“硬”，现在也开始变软了，原来处理器是分开的，而且都是RISC/ASIC之类，Cache也分开，现在CPU统一为XEON，Cache也统一了。

Cache分开的优点就是控制数据流和IO读写数据流的路径可以分开，这样可以提升总体带宽，尤其在混合负载环境下，一个大的数据包长时间占用cache总线，那么小IO的控制信息也被堵塞了。分开后，IO控制信息可以先传输，磁盘可以分头组织数据读写。数据Cache的带宽都是非常大，控制信息的带宽较小。
打个比方，同样4车道的公路，如果大客车/集卡和小轿车都不分车道，高峰时总体速度肯定较低，如果都规定专用车道，虽然有时候会出现车道空闲，但是高峰时不容易堵死。

BTW，打个广告，招聘系统集成工程师，有意者发简历ffaatt@163.com

作者: ffaatt 时间: 2011-09-20 17:36
这是3Par解释cache分开的好处的Slide。

作者: ffaatt 时间: 2011-09-20 17:41
USP在多节点的时候是成对配置控制器的。
3Par也是成对配置，但是一旦有节点损坏，它可以重新配对，可能这样造成了控制cache设计的困难。
另外现在的存储附加功能太多，如Thp，动态优化，快照复制等，对控制Cache消耗很大。
从功能上说，控制Cache大是好事，如果一个高端硬盘的主要资源只用在数据IO上，那这个高端就名不副实了，性能和容量问题其实在中低端就解决了。高端是用来管理、保护和优化的。

作者: deadlysins 时间: 2012-05-23 10:40
对于存储来说，主机的IOPS高，而后端disk的IOPS低，这样就造成数据流在传输过程中前后不对等而产生瓶颈，3par每个node都会有专门的CC和DC，分别处理控制信号处理和数据流处理，这样可以提高Storage整体的Performance

作者: niwan 时间: 2012-05-23 11:40
回复 16# ffaatt

居然有3par asic,加成本，这个开发成本不知道怎么算，hehe

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)