最近从网上看了点3par的资料，来跟大家一起讨论下

hp-ux民工

我更换故障硬盘时，会发生什么？

在3PAR T系统架构中，4块物理硬盘共享1个硬盘盒，当1块硬盘出现故障时，你需要关闭其它3块正常硬盘，处理故障硬盘。
我们可以使用两种方法
最常见的方法是，在维修之前将维修操作切换到日志模式。在日志模式下，所有写入3块正常硬盘的数据都被写入预留的有R1保护的日志空间。读取操作均来自RAID奇偶计算。维修结束后，重构故障硬盘，同时写入日志空间的所有数据都将重新写入正常硬盘。
第二种方法是，将整个硬盘盒中的数据迁移到系统的备用空间。这需要一段时间，因为我们必须将3块正常硬盘上的所有数据全部迁移到备用空间。 一般情况下，选择迁移数据的客户可以在硬盘出现故障后立即执行，在迁移操作完成后，迅速分配替换硬盘。

wolfop

3PAR的**有点不彻底。条带化的大小还是过大，256M，结果实际应用做ORACLE变成了没法依赖他的设计，而且没法自己设计，最后要靠ASM解决。
现在被HP收购了，奇怪的结果，3PAR和高端和HP OEM HDS的VSP怎么定位？中端和EVA怎么定位？
遇到的问题比IBM收购XIV和DS8000怎么定位还麻烦。

无牙

现在很流行这个，进来学习一下。

hp-ux民工

3PAR的**有点不彻底。条带化的大小还是过大，256M，结果实际应用做ORACLE变成了没法依赖他的设计，而且没法 ...
wolfop 发表于 2011-08-07 12:28

    条带化256就是不彻底？那多少是彻底，我想对应下看看，每个厂家都不同
256太大还是太小那就仁者见仁智者见智了，现在不比当年，一块硬盘动则就2T，一台存储能够达到近2千块盘，条带化256我觉得也没什么
至于哥们说的什么要靠asm解决？不好意思，我没看懂
中端的eva8400已经废了，新的p6300和6500分别是用来代替eva400和eva6400
我感觉f200，f400可以代替eva8400
至于其他真的有点和xp产品线有些重叠，不过毕竟3par是自己的，而且更适合云计算，更适用于oracle的asm，xp的价格跟hds相比没什么竞争力，具体定位跟咱没什么关系，俺目前是做技术的

XIV目前还只能支持sata，（好像马上出来的新的才支持sas），max180块盘，只支持raid1，3地容灾等，前端主机接口 4Gb/s光纤通道，而节点之间却用1Gb/s以太网（听说马上出来的新一代XIV将采用InfiniBand）,太多软肋，我想目前看来硬把xiv应放在高端，真的难为他了，他跟ds8000也没什么可重叠的，不像3par跟xp，的确有些重叠了，因为她从某种程度来说是可以替代xp的

hp-ux民工

网上有位数据库冯大师的blog写的对3par的理解，写的不错，转载过来
http://www.dbanotes.net/arch/3par_arch.html



3PAR 存储架构解析
作者: Fenng | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://www.dbanotes.net/arch/3par_arch.html
对于国内存储市场来说，3PAR 是不折不扣的后来者。也是个相对陌生的存储产品，以至于其竞争对手的人员甚至都不知道这家公司已经杀入中国市场。

3PAR 在 1999 年成立，几个创始人主要出自 Sun ，前身叫作 3PARdata ， 2008 年上市。要知道在存储技术领域竞争还是比较激烈的，EMC / HDS 等控制着高端存储的主要市场，3PAR 能突破技术壁垒并最后成功上市，没两把刷子那是绝对做不到的。

InSpire 硬件结构

3PAR 背板采用全网状的连接结构，每个控制器节点之间高速直连。因为是全网状的，所以基本上一个链路坏掉只影响直连的两个节点的通信，对其它节点无影响。每个控制器节点内置一块硬盘，用于操作系统安装。控制器节点最多可以扩展到 8 个，是 3PAR 存储最核心的组件。

相比之下，HDS 架构采用全光线交换方式（Universal Star Network），而 EMC 是采用直连矩阵方式(新一代产品采用虚拟矩阵架构--Virtual Matrix ，其实已经放弃了直连矩阵架构了)。这些连接方式的孰优孰劣历来是厂商攻击竞争对手的着眼点，能否最大限度发挥性能是用户最需要关心的。


3PAR 针对 I/O 指令和数据移动使用不同的计算芯片。I/O 指令(元数据/控制Cache)用 Intel 的芯片，而 数据移动/Cache 则使用专门设计的 ASIC 芯片来完成。



因为有专门的硬件 ASIC 芯片用于 RAID 5 XOR 校验，3PAR 号称有了其第三代 ASIC 芯片，实现的 RAID 5 是业界最快的，甚至 SATA 盘也能有不错的性能表现。(从 Oracle 公司测试的数据来看，和 RAID 10 速度的确相差无几。)

InForm 操作系统软件与虚拟化

3PAR 的操作系统叫 InForm，最初就是面向层次化的设计。与其他存储不同的是，3PAR 所有磁盘被分成 256MB 统一大小的小盘(Chunklet)，可以根据需要用多个 Chunklet 组成 RAIDlet(逻辑磁盘)。因为这个独特的设计方式，3PAR 是可以很容易做到不同容量的磁盘混用，同一个 RAID 组里都可以有不同大小、不同转速的磁盘混用，这是其他存储做不到的。而且，所有的磁盘都可以利用，因为Hotspare Chunklet 以更小的单位分散在不同的磁盘上，也不再需要单独留热备盘。空间利用率可以更充分一些。　



多说一句，有这个冗余机制，3PAR 更换磁盘也是与众不同：直接抽磁盘盒子(一个盒子可是四块磁盘啊)，我当初看到 3PAR 技术人员这么操作真是着实吓了一跳。

因为固定大小的 Chunklet 的存在，可以将 I/O 更为均匀的分散到多个磁盘上。



对于熟悉Oracle 的朋友来说，会发现这和 ASM 的思想非常接近。因而也可以和 Oracle 数据库进行无缝集成：



因为软件做得非常具有易用性，日常管理与维护远远没有其他高端存储那么复杂，新增磁盘这种事情，都是一行命令之后底层自动处理。其实在 Thin Provisioning 方面 3PAR 也是很值得一说的，比一些厂商的伪 Thin Provisioning 具体多了。限于篇幅，不赘述。

3PAR 在美国有很多金融证券行业的客户，也有 Web 2.0 行业的客户--MySpace 。在保证 I/O 响应在 10ms 以内的前提下，3PAR 的 IOPS 能力非常优异(这才是卖点，不难理解其客户多集中在证券、金融领域)。虽然有些厂商号称能得到更高的 IOPS ，但那是在 I/O 响应时间很差的情况下的数据。要说明的是，现在随着一些存储厂商在高端服务器上也支持 SSD ，未来几年如何还要再看。

前两年 3PAR 推行所谓 Utility Storage(功用存储) 理念，现在貌似改成敏捷存储了。说实话，我觉得敏捷存储真的挺适合的，3PAR 命令行批量创建 LUN 真的很让人感觉舒服。当然，也在宣传云存储和绿色存储的理念，那是题外话了。

3PAR 原来只做中高端市场，只有 T 这一个系列，现在也开始关注中低端市场了，推出了 F 系列的产品。软硬件体系基本没变，倒是没仔细看过。

(Note: 相关图片主要来自 3PAR 公开资料.)

pingfan2

回复 1# hp-ux民工


   我前一阵子也写了点3PAR相关的：

“http://bbs.chinaunix.net/thread-3572736-1-1.html”  这个页面的最下方，其中还包括架构示意图、和EMC VMAX的对比

可能和楼主有些所见略同吧

hp-ux民工

回复  hp-ux民工


   我前一阵子也写了点3PAR相关的：

“”  这个页面的最下方，其中还包括架构示 ...
pingfan2 发表于 2011-08-07 16:39

    哥们写的不错呀，我还以为是转载的
emc的俺就懂cx，dmax，v-max都不懂，目前hp的3par市场接受还需要观察，还没法跟emc市场号召力相比
不过马上3par的新产品就要发布，V400 和v800，具体情况还是等月底媒体发布后方知，不过跟之前的媒体猜测还是有一定出入
自我感觉从08年金融危机后，各大it厂家新产品的开发都没有以前积极了，无论是emc，hds，还是ibm，hp，设备更新换代不比以前


本想再写些oem hds的xp和3par的一些配置细节方面的优劣的，想想还是算了，这样成内部斗争了

pingfan2

我更换故障硬盘时，会发生什么？

在3PAR T系统架构中，4块物理硬盘共享1个硬盘盒，当1块硬盘出现故障时， ...
hp-ux民工 发表于 2011-08-05 17:20

    对于这方面，说实话我觉得今天有更好的解决方案：

比如NetApp E5400（详见笔者的blog：http://blogold.chinaunix.net/u3/95474/showart.php?id=2546135），OEM给IBM之后的型号是DCS3700，4U 60盘位的机箱，一共有5个可以从前面装载的12硬盘位“抽屉”，并可以在保持其它驱动器活动访问的情况下添加/置换单个驱动器。

IBM资料原文：
Front load 12-drive drawers which can be extended while drives remain active allowing
Superior serviceability and easy installation or replacement of individual drives without affecting the operation of other drives.

当然类似这样比较新一些的阵列使用了SAS驱动器，而目前3PAR还是光纤盘，等到转向SAS时估计也能改进吧

hp-ux民工

fc转sas是硬盘厂家的问题，也是大势，但是3par用sas，嘿嘿，估计。。。。。。,具体月底媒体发布后就清楚啦
同时拔4快盘是t系列才有，f没这问题，不过这是工厂设计，估计他们不认为这是个问题，否则早就改了
不知道新的v400和v800能否改进

wolfop

回复 14# hp-ux民工
256M是一个很尴尬的数字，说小吧，对于上层如果数据库表（假设没用ASM）或者文件不大（典型的比如redolog)的情况下，自动的方式没法充分的让足够多的磁盘参与IO，很可能有IO热点。传统的存储干脆把这个打散的操作交给上层的LVM或者数据库/表分区做，但这样需要准确地知道每个PV/LUN用的是什么物理盘。3PAR这种方式又让你很难甚至没法知道LUN使用的物理盘。结果在实际上3PAR吹嘘的跑ORACLE的不用做IO设计，实际是靠ASM缺省下1M的AU_SIZE实现的。如果没有ASM，或者跑文件，不进行详细的LAYOUT设计，其IO性能就很难说。
XIV就是另外一回事了，IBM自己没弄清楚定位，其1M的条带大小其实还算合适，当然再大一些也许更好（对于DW/OLAP），但也别太大4-8M比较合适，彻底不用考虑磁盘的lay-out设计了。到了gen3，虽然用了20Gb/s的IB互联，但仍然采用SATA的确是一个很大的软肋。如果IBM打算彻底废掉DS8000，把XIV改用QDR的IB，SAS磁盘，再适当增加GEN3每个节点的CPU数量，然后不采用SSD，而是采用PCIE接口的FLASH实现EASY TIRE的技术，XIV的性能应该会很惊人。
当然XIV还的改一点，他的虚拟化镜像的算法有问题，导致跨多机架互联的方式会导致可靠性严重下降。