最近从网上看了点3par的资料，来跟大家一起讨论下

hp-ux民工

我先抛砖引玉，有空发点资料先，从网上找到的，贴给大家
3PAR

1,中端存储高端化：3PAR定为于高端存储，但是它的架构有点类似中端存储的架构，有控制器的概念，最多可以有8个控制器（S400最多有4个控制器，S800可以有8个），控制器之间由一个网状背板连接起来，每个控制器有两个INTEL的CPU负责控制指令，还有一个3PAR自己控制器的ASIC完成数据移动。普通的中端存储，一个LUN只能属于一个控制器，用户必须将LUN人工分布到两个控制器上，而3PAR每个LUN实际上是由多个控制器并行处理的。

这个怎么说那？
个人感觉本身可能打算用来代替EVA的，但是目前在hp的产品线看来他是介于xp和eva之间，当然他的满配跟hp的xp也差不多少了，更何况他更适合于云，另外当年oracle又说他跟asm结合能够如何如何的提高性能。
毕竟他是hp自己的东东，相对于可能更愿意推3par，其实3par2个系列，F和T，而跟在后面的数字就是支持的控制器的最大数，F200最大支持2个，F400最大支持4个，T400最大支持4个，当然T800最大支持8个，
至于他的控制器的芯片感觉有点类似于LSI，intel的cpu只是负责控制信息，真正做raid计算的是ASIC，所以如果和其他厂家的控制器全intel inside来pk说3par的cpu不行，可就有点外行了
当然Q4听说要出新3par就将采用双ASIC控制器，并支持SAS硬盘，将pci-x改为pci-e
另外说双A（不是ALUA哦），这点不能说其他厂家的终端存储都最多做到ALUA，其实hds的AMS也是真正的双A，至于eva和cx都是ALUA，ds5000就只能是A/P了

hp-ux民工

2,非常有特点的盘盒： 3PRA插盘的方式非常独特，和其他存储都完全不同，在4U高度的盘盒中，有10个盘包，每个盘包可以纵向插入4块盘，相当于其他存储一块盘的位置插入了四块，所以3PAR的盘的密度非常高。当然这也有问题，比如在换盘时，每次需要将整个盘包拔出，或者盘包自身的背板损坏，可能造成数据丢失等等。不过3PAR已经考虑了这些情况，并有解决方案。

其实3par有3种盘笼，DC2, DC4（T-Class ） and DC3（F-Class）DC2, DC4累就是上面写的，但是dc3是16个个drive bay，0-15就不是4个硬盘装在一起了。

hp-ux民工

3，虚拟卷管理：第一层：每个盘都被划分为256M的小块(chunklet)，由于每个盘盒都和两个控制器相连，所以这些存储块都有两个访问通道。第二层：将这些存储块，基于RAID类型和存储块的位置组成逻辑盘(LD)。第三层：将一个或多个LD映射成为了一个虚拟卷(VV)，并最终以LUN的形式输出给主机(VLUN)。这样可以将IO分散到系统所有的磁盘，光纤连接和控制器上，而不象某些存储，必须要借助主机的LVM才能实现。如果我们使用文件系统或者ASM的话，将会很方便。另外一个特点就是管理非常方便，只需要告诉系统我要多大的LUN，其他系统会自动完成


这点感觉有点类似于eva（其实eva）或者v7000，xiv，当然他们又不完全相同，XIV的Pool是个逻辑的，他并没有将disk物理隔离（譬如EVA中的Disk Group，eva有rss的概念），对于外部的IO quest由所有的Disk提供，只是在空间，也就是Size方面逻辑的划分pooll

hp-ux民工

它支持哪些RAID类型？参加不同RAID类型的chunklet可以并存在一块磁盘上么？另外spare空间是怎样的？
mike79 发表于 2011-08-05 12:59

1.   支持的raid类型有：
■ RAID 0
■ RAID 10 (RAID 1)
■ RAID 50 (RAID 5)
■ RAID Multi-parity (MP)
RAID MP is HP 3PAR Fast RAID 6 Technology
这个
2.这个问题在你创建vv的时候，你可以指定如：
◆ Port - Creates a virtual volume that can tolerate two port failures because its RAID sets
use chunklets from devices on different cage loops.
◆ Cage - Creates a virtual volume that can tolerate a drive cage failure because its RAID
sets use chunklets from different drive cages.1
◆ Magazine - Creates a virtual volume that can tolerate a drive magazine failure because
its RAID sets use chunklets from different drive magazines
这点比eva要好得多，eva rss我们看不出来，需要rc用专门的工具来看
3.他不需要单独spare盘，只是Spare Chunklets，这点跟eva的概念有点类似，和xp就差了很多

hp-ux民工

PS，俺只是民工，不是销售或者售前，屁沟决定脑袋，所以只是从技术角度去看待他。可能会有所片面。

hp-ux民工

第二个问题我是想了解这个情况：
假设一块磁盘有上1000个chunklet，那能不能其中500个chunklet和其他某些磁 ...
mike79 发表于 2011-08-05 15:04

我直接贴原文吧
2.1.1 Physical Disks
A physical disk is a hard drive mounted on a drive magazine located in a 3PAR InServ Storage
Server drive cage. For more information about physical disks and the 3PAR InServ Storage
Server hardware platforms, see Chapter 13, 3PAR InServ Storage Server Hardware.
2.1.2 Chunklets
Physical disks are divided into chunklets. Each chunklet occupies 256 MB of contiguous space
on a physical disk. Chunklets are automatically created by the 3PAR InForm® Operating System
and they are used to create logical disks. A chunklet is assigned to only one logical disk. For
more information about chunklets, see Chapter 7, Chunklets.
2.1.3 Logical Disks
A logical disk is a collection of physical disk chunklets arranged as rows of RAID sets. Each RAID
set is made up of chunklets from different physical disks. Logical disks are pooled together in
Common Provisioning Groups (CPGs) which allocate space to virtual volumes. The underlying
logical disks are automatically created by the InForm OS when you create CPGs. The RAID type,
space allocation, growth increments and other logical disk parameters can be set when you
create a CPG or modified later. 3PAR storage servers support the following RAID types:
■ RAID 0
■ RAID 10 (RAID 1)
■ RAID 50 (RAID 5)
■ RAID Multi-Parity (MP) or RAID 6
For a detailed discussion of logical disks and RAID types, see Chapter 8, Logical Disks.
drive cage是指盘笼，DC2 drive cage,每个 drive cage有40 physical disks ，10个drive magazines，每个drive magazines装4个硬盘，根据以上3个选项
可以自己选项来保证某个drive magazines更换，也不会影响vv，甚至某个drive cage挂掉也能够保证数据的安全性，这个问题我想我们不用杞人忧天，每个存储都会考虑到数据的安全性的

hp-ux民工

我更换故障硬盘时，会发生什么？

在3PAR T系统架构中，4块物理硬盘共享1个硬盘盒，当1块硬盘出现故障时，你需要关闭其它3块正常硬盘，处理故障硬盘。
我们可以使用两种方法
最常见的方法是，在维修之前将维修操作切换到日志模式。在日志模式下，所有写入3块正常硬盘的数据都被写入预留的有R1保护的日志空间。读取操作均来自RAID奇偶计算。维修结束后，重构故障硬盘，同时写入日志空间的所有数据都将重新写入正常硬盘。
第二种方法是，将整个硬盘盒中的数据迁移到系统的备用空间。这需要一段时间，因为我们必须将3块正常硬盘上的所有数据全部迁移到备用空间。 一般情况下，选择迁移数据的客户可以在硬盘出现故障后立即执行，在迁移操作完成后，迅速分配替换硬盘。

hp-ux民工

3PAR的**有点不彻底。条带化的大小还是过大，256M，结果实际应用做ORACLE变成了没法依赖他的设计，而且没法 ...
wolfop 发表于 2011-08-07 12:28

    条带化256就是不彻底？那多少是彻底，我想对应下看看，每个厂家都不同
256太大还是太小那就仁者见仁智者见智了，现在不比当年，一块硬盘动则就2T，一台存储能够达到近2千块盘，条带化256我觉得也没什么
至于哥们说的什么要靠asm解决？不好意思，我没看懂
中端的eva8400已经废了，新的p6300和6500分别是用来代替eva400和eva6400
我感觉f200，f400可以代替eva8400
至于其他真的有点和xp产品线有些重叠，不过毕竟3par是自己的，而且更适合云计算，更适用于oracle的asm，xp的价格跟hds相比没什么竞争力，具体定位跟咱没什么关系，俺目前是做技术的

XIV目前还只能支持sata，（好像马上出来的新的才支持sas），max180块盘，只支持raid1，3地容灾等，前端主机接口 4Gb/s光纤通道，而节点之间却用1Gb/s以太网（听说马上出来的新一代XIV将采用InfiniBand）,太多软肋，我想目前看来硬把xiv应放在高端，真的难为他了，他跟ds8000也没什么可重叠的，不像3par跟xp，的确有些重叠了，因为她从某种程度来说是可以替代xp的

hp-ux民工

网上有位数据库冯大师的blog写的对3par的理解，写的不错，转载过来
http://www.dbanotes.net/arch/3par_arch.html



3PAR 存储架构解析
作者: Fenng | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://www.dbanotes.net/arch/3par_arch.html
对于国内存储市场来说，3PAR 是不折不扣的后来者。也是个相对陌生的存储产品，以至于其竞争对手的人员甚至都不知道这家公司已经杀入中国市场。

3PAR 在 1999 年成立，几个创始人主要出自 Sun ，前身叫作 3PARdata ， 2008 年上市。要知道在存储技术领域竞争还是比较激烈的，EMC / HDS 等控制着高端存储的主要市场，3PAR 能突破技术壁垒并最后成功上市，没两把刷子那是绝对做不到的。

InSpire 硬件结构

3PAR 背板采用全网状的连接结构，每个控制器节点之间高速直连。因为是全网状的，所以基本上一个链路坏掉只影响直连的两个节点的通信，对其它节点无影响。每个控制器节点内置一块硬盘，用于操作系统安装。控制器节点最多可以扩展到 8 个，是 3PAR 存储最核心的组件。

相比之下，HDS 架构采用全光线交换方式（Universal Star Network），而 EMC 是采用直连矩阵方式(新一代产品采用虚拟矩阵架构--Virtual Matrix ，其实已经放弃了直连矩阵架构了)。这些连接方式的孰优孰劣历来是厂商攻击竞争对手的着眼点，能否最大限度发挥性能是用户最需要关心的。


3PAR 针对 I/O 指令和数据移动使用不同的计算芯片。I/O 指令(元数据/控制Cache)用 Intel 的芯片，而 数据移动/Cache 则使用专门设计的 ASIC 芯片来完成。



因为有专门的硬件 ASIC 芯片用于 RAID 5 XOR 校验，3PAR 号称有了其第三代 ASIC 芯片，实现的 RAID 5 是业界最快的，甚至 SATA 盘也能有不错的性能表现。(从 Oracle 公司测试的数据来看，和 RAID 10 速度的确相差无几。)

InForm 操作系统软件与虚拟化

3PAR 的操作系统叫 InForm，最初就是面向层次化的设计。与其他存储不同的是，3PAR 所有磁盘被分成 256MB 统一大小的小盘(Chunklet)，可以根据需要用多个 Chunklet 组成 RAIDlet(逻辑磁盘)。因为这个独特的设计方式，3PAR 是可以很容易做到不同容量的磁盘混用，同一个 RAID 组里都可以有不同大小、不同转速的磁盘混用，这是其他存储做不到的。而且，所有的磁盘都可以利用，因为Hotspare Chunklet 以更小的单位分散在不同的磁盘上，也不再需要单独留热备盘。空间利用率可以更充分一些。　



多说一句，有这个冗余机制，3PAR 更换磁盘也是与众不同：直接抽磁盘盒子(一个盒子可是四块磁盘啊)，我当初看到 3PAR 技术人员这么操作真是着实吓了一跳。

因为固定大小的 Chunklet 的存在，可以将 I/O 更为均匀的分散到多个磁盘上。



对于熟悉Oracle 的朋友来说，会发现这和 ASM 的思想非常接近。因而也可以和 Oracle 数据库进行无缝集成：



因为软件做得非常具有易用性，日常管理与维护远远没有其他高端存储那么复杂，新增磁盘这种事情，都是一行命令之后底层自动处理。其实在 Thin Provisioning 方面 3PAR 也是很值得一说的，比一些厂商的伪 Thin Provisioning 具体多了。限于篇幅，不赘述。

3PAR 在美国有很多金融证券行业的客户，也有 Web 2.0 行业的客户--MySpace 。在保证 I/O 响应在 10ms 以内的前提下，3PAR 的 IOPS 能力非常优异(这才是卖点，不难理解其客户多集中在证券、金融领域)。虽然有些厂商号称能得到更高的 IOPS ，但那是在 I/O 响应时间很差的情况下的数据。要说明的是，现在随着一些存储厂商在高端服务器上也支持 SSD ，未来几年如何还要再看。

前两年 3PAR 推行所谓 Utility Storage(功用存储) 理念，现在貌似改成敏捷存储了。说实话，我觉得敏捷存储真的挺适合的，3PAR 命令行批量创建 LUN 真的很让人感觉舒服。当然，也在宣传云存储和绿色存储的理念，那是题外话了。

3PAR 原来只做中高端市场，只有 T 这一个系列，现在也开始关注中低端市场了，推出了 F 系列的产品。软硬件体系基本没变，倒是没仔细看过。

(Note: 相关图片主要来自 3PAR 公开资料.)

hp-ux民工

回复  hp-ux民工


   我前一阵子也写了点3PAR相关的：

“”  这个页面的最下方，其中还包括架构示 ...
pingfan2 发表于 2011-08-07 16:39

    哥们写的不错呀，我还以为是转载的
emc的俺就懂cx，dmax，v-max都不懂，目前hp的3par市场接受还需要观察，还没法跟emc市场号召力相比
不过马上3par的新产品就要发布，V400 和v800，具体情况还是等月底媒体发布后方知，不过跟之前的媒体猜测还是有一定出入
自我感觉从08年金融危机后，各大it厂家新产品的开发都没有以前积极了，无论是emc，hds，还是ibm，hp，设备更新换代不比以前


本想再写些oem hds的xp和3par的一些配置细节方面的优劣的，想想还是算了，这样成内部斗争了