Chinaunix

标题: 最近从网上看了点3par的资料，来跟大家一起讨论下 [打印本页]

作者: hp-ux民工 时间: 2011-08-04 18:27
标题: 最近从网上看了点3par的资料，来跟大家一起讨论下
本帖最后由 hp-ux民工于 2011-08-04 18:32 编辑

我先抛砖引玉，有空发点资料先，从网上找到的，贴给大家
3PAR

1,中端存储高端化：3PAR定为于高端存储，但是它的架构有点类似中端存储的架构，有控制器的概念，最多可以有8个控制器（S400最多有4个控制器，S800可以有8个），控制器之间由一个网状背板连接起来，每个控制器有两个INTEL的CPU负责控制指令，还有一个3PAR自己控制器的ASIC完成数据移动。普通的中端存储，一个LUN只能属于一个控制器，用户必须将LUN人工分布到两个控制器上，而3PAR每个LUN实际上是由多个控制器并行处理的。

这个怎么说那？
个人感觉本身可能打算用来代替EVA的，但是目前在hp的产品线看来他是介于xp和eva之间，当然他的满配跟hp的xp也差不多少了，更何况他更适合于云，另外当年oracle又说他跟asm结合能够如何如何的提高性能。
毕竟他是hp自己的东东，相对于可能更愿意推3par，其实3par2个系列，F和T，而跟在后面的数字就是支持的控制器的最大数，F200最大支持2个，F400最大支持4个，T400最大支持4个，当然T800最大支持8个，
至于他的控制器的芯片感觉有点类似于LSI，intel的cpu只是负责控制信息，真正做raid计算的是ASIC，所以如果和其他厂家的控制器全intel inside来pk说3par的cpu不行，可就有点外行了
当然Q4听说要出新3par就将采用双ASIC控制器，并支持SAS硬盘，将pci-x改为pci-e
另外说双A（不是ALUA哦），这点不能说其他厂家的终端存储都最多做到ALUA，其实hds的AMS也是真正的双A，至于eva和cx都是ALUA，ds5000就只能是A/P了

作者: hp-ux民工 时间: 2011-08-04 18:41
2,非常有特点的盘盒： 3PRA插盘的方式非常独特，和其他存储都完全不同，在4U高度的盘盒中，有10个盘包，每个盘包可以纵向插入4块盘，相当于其他存储一块盘的位置插入了四块，所以3PAR的盘的密度非常高。当然这也有问题，比如在换盘时，每次需要将整个盘包拔出，或者盘包自身的背板损坏，可能造成数据丢失等等。不过3PAR已经考虑了这些情况，并有解决方案。

其实3par有3种盘笼，DC2, DC4（T-Class ） and DC3（F-Class）DC2, DC4累就是上面写的，但是dc3是16个个drive bay，0-15就不是4个硬盘装在一起了。

作者: hp-ux民工 时间: 2011-08-04 18:46
3，虚拟卷管理：第一层：每个盘都被划分为256M的小块(chunklet)，由于每个盘盒都和两个控制器相连，所以这些存储块都有两个访问通道。第二层：将这些存储块，基于RAID类型和存储块的位置组成逻辑盘(LD)。第三层：将一个或多个LD映射成为了一个虚拟卷(VV)，并最终以LUN的形式输出给主机(VLUN)。这样可以将IO分散到系统所有的磁盘，光纤连接和控制器上，而不象某些存储，必须要借助主机的LVM才能实现。如果我们使用文件系统或者ASM的话，将会很方便。另外一个特点就是管理非常方便，只需要告诉系统我要多大的LUN，其他系统会自动完成

这点感觉有点类似于eva（其实eva）或者v7000，xiv，当然他们又不完全相同，XIV的Pool是个逻辑的，他并没有将disk物理隔离（譬如EVA中的Disk Group，eva有rss的概念），对于外部的IO quest由所有的Disk提供，只是在空间，也就是Size方面逻辑的划分pooll

作者: deadwind 时间: 2011-08-04 23:35
支持LZ分享

作者: saintdragon 时间: 2011-08-05 09:13
感谢分享

作者: mike79 时间: 2011-08-05 12:59
它支持哪些RAID类型？参加不同RAID类型的chunklet可以并存在一块磁盘上么？另外spare空间是怎样的？

作者: hp-ux民工 时间: 2011-08-05 14:38
本帖最后由 hp-ux民工于 2011-08-05 14:39 编辑

它支持哪些RAID类型？参加不同RAID类型的chunklet可以并存在一块磁盘上么？另外spare空间是怎样的？
mike79 发表于 2011-08-05 12:59

1. 支持的raid类型有：
■ RAID 0
■ RAID 10 (RAID 1)
■ RAID 50 (RAID 5)
■ RAID Multi-parity (MP)
RAID MP is HP 3PAR Fast RAID 6 Technology
这个
2.这个问题在你创建vv的时候，你可以指定如：
◆ Port - Creates a virtual volume that can tolerate two port failures because its RAID sets
use chunklets from devices on different cage loops.
◆ Cage - Creates a virtual volume that can tolerate a drive cage failure because its RAID
sets use chunklets from different drive cages.1
◆ Magazine - Creates a virtual volume that can tolerate a drive magazine failure because
its RAID sets use chunklets from different drive magazines
这点比eva要好得多，eva rss我们看不出来，需要rc用专门的工具来看
3.他不需要单独spare盘，只是Spare Chunklets，这点跟eva的概念有点类似，和xp就差了很多

作者: hp-ux民工 时间: 2011-08-05 14:44
PS，俺只是民工，不是销售或者售前，屁沟决定脑袋，所以只是从技术角度去看待他。可能会有所片面。

作者: mike79 时间: 2011-08-05 15:04
第二个问题我是想了解这个情况：
假设一块磁盘有上1000个chunklet，那能不能其中500个chunklet和其他某些磁盘的chunklet做若干个RAID5，其他500个chunklet和其他某些磁盘的chunklet做若干个RAID1或者RAID10？

作者: hp-ux民工 时间: 2011-08-05 15:31
本帖最后由 hp-ux民工于 2011-08-05 16:56 编辑

第二个问题我是想了解这个情况：
假设一块磁盘有上1000个chunklet，那能不能其中500个chunklet和其他某些磁 ...
mike79 发表于 2011-08-05 15:04

我直接贴原文吧
2.1.1 Physical Disks
A physical disk is a hard drive mounted on a drive magazine located in a 3PAR InServ Storage
Server drive cage. For more information about physical disks and the 3PAR InServ Storage
Server hardware platforms, see Chapter 13, 3PAR InServ Storage Server Hardware.
2.1.2 Chunklets
Physical disks are divided into chunklets. Each chunklet occupies 256 MB of contiguous space
on a physical disk. Chunklets are automatically created by the 3PAR InForm® Operating System
and they are used to create logical disks. A chunklet is assigned to only one logical disk. For
more information about chunklets, see Chapter 7, Chunklets.
2.1.3 Logical Disks
A logical disk is a collection of physical disk chunklets arranged as rows of RAID sets. Each RAID
set is made up of chunklets from different physical disks. Logical disks are pooled together in
Common Provisioning Groups (CPGs) which allocate space to virtual volumes. The underlying
logical disks are automatically created by the InForm OS when you create CPGs. The RAID type,
space allocation, growth increments and other logical disk parameters can be set when you
create a CPG or modified later. 3PAR storage servers support the following RAID types:
■ RAID 0
■ RAID 10 (RAID 1)
■ RAID 50 (RAID 5)
■ RAID Multi-Parity (MP) or RAID 6
For a detailed discussion of logical disks and RAID types, see Chapter 8, Logical Disks.
drive cage是指盘笼，DC2 drive cage,每个 drive cage有40 physical disks ，10个drive magazines，每个drive magazines装4个硬盘，根据以上3个选项
可以自己选项来保证某个drive magazines更换，也不会影响vv，甚至某个drive cage挂掉也能够保证数据的安全性，这个问题我想我们不用杞人忧天，每个存储都会考虑到数据的安全性的

作者: hp-ux民工 时间: 2011-08-05 17:20
我更换故障硬盘时，会发生什么？

在3PAR T系统架构中，4块物理硬盘共享1个硬盘盒，当1块硬盘出现故障时，你需要关闭其它3块正常硬盘，处理故障硬盘。
我们可以使用两种方法
最常见的方法是，在维修之前将维修操作切换到日志模式。在日志模式下，所有写入3块正常硬盘的数据都被写入预留的有R1保护的日志空间。读取操作均来自RAID奇偶计算。维修结束后，重构故障硬盘，同时写入日志空间的所有数据都将重新写入正常硬盘。
第二种方法是，将整个硬盘盒中的数据迁移到系统的备用空间。这需要一段时间，因为我们必须将3块正常硬盘上的所有数据全部迁移到备用空间。一般情况下，选择迁移数据的客户可以在硬盘出现故障后立即执行，在迁移操作完成后，迅速分配替换硬盘。

作者: wolfop 时间: 2011-08-07 12:28
3PAR的**有点不彻底。条带化的大小还是过大，256M，结果实际应用做ORACLE变成了没法依赖他的设计，而且没法自己设计，最后要靠ASM解决。
现在被HP收购了，奇怪的结果，3PAR和高端和HP OEM HDS的VSP怎么定位？中端和EVA怎么定位？
遇到的问题比IBM收购XIV和DS8000怎么定位还麻烦。

作者: 无牙 时间: 2011-08-07 12:42
现在很流行这个，进来学习一下。

作者: hp-ux民工 时间: 2011-08-07 16:05
本帖最后由 hp-ux民工于 2011-08-07 16:45 编辑

3PAR的**有点不彻底。条带化的大小还是过大，256M，结果实际应用做ORACLE变成了没法依赖他的设计，而且没法 ...
wolfop 发表于 2011-08-07 12:28

条带化256就是不彻底？那多少是彻底，我想对应下看看，每个厂家都不同
256太大还是太小那就仁者见仁智者见智了，现在不比当年，一块硬盘动则就2T，一台存储能够达到近2千块盘，条带化256我觉得也没什么
至于哥们说的什么要靠asm解决？不好意思，我没看懂
中端的eva8400已经废了，新的p6300和6500分别是用来代替eva400和eva6400
我感觉f200，f400可以代替eva8400
至于其他真的有点和xp产品线有些重叠，不过毕竟3par是自己的，而且更适合云计算，更适用于oracle的asm，xp的价格跟hds相比没什么竞争力，具体定位跟咱没什么关系，俺目前是做技术的

XIV目前还只能支持sata，（好像马上出来的新的才支持sas），max180块盘，只支持raid1，3地容灾等，前端主机接口 4Gb/s光纤通道，而节点之间却用1Gb/s以太网（听说马上出来的新一代XIV将采用InfiniBand）,太多软肋，我想目前看来硬把xiv应放在高端，真的难为他了，他跟ds8000也没什么可重叠的，不像3par跟xp，的确有些重叠了，因为她从某种程度来说是可以替代xp的

作者: hp-ux民工 时间: 2011-08-07 16:32
本帖最后由 hp-ux民工于 2011-08-07 16:35 编辑

网上有位数据库冯大师的blog写的对3par的理解，写的不错，转载过来
http://www.dbanotes.net/arch/3par_arch.html

3PAR 存储架构解析
作者: Fenng | 可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://www.dbanotes.net/arch/3par_arch.html
对于国内存储市场来说，3PAR 是不折不扣的后来者。也是个相对陌生的存储产品，以至于其竞争对手的人员甚至都不知道这家公司已经杀入中国市场。

3PAR 在 1999 年成立，几个创始人主要出自 Sun ，前身叫作 3PARdata ， 2008 年上市。要知道在存储技术领域竞争还是比较激烈的，EMC / HDS 等控制着高端存储的主要市场，3PAR 能突破技术壁垒并最后成功上市，没两把刷子那是绝对做不到的。

InSpire 硬件结构

3PAR 背板采用全网状的连接结构，每个控制器节点之间高速直连。因为是全网状的，所以基本上一个链路坏掉只影响直连的两个节点的通信，对其它节点无影响。每个控制器节点内置一块硬盘，用于操作系统安装。控制器节点最多可以扩展到 8 个，是 3PAR 存储最核心的组件。

相比之下，HDS 架构采用全光线交换方式（Universal Star Network），而 EMC 是采用直连矩阵方式(新一代产品采用虚拟矩阵架构--Virtual Matrix ，其实已经放弃了直连矩阵架构了)。这些连接方式的孰优孰劣历来是厂商攻击竞争对手的着眼点，能否最大限度发挥性能是用户最需要关心的。

3PAR 针对 I/O 指令和数据移动使用不同的计算芯片。I/O 指令(元数据/控制Cache)用 Intel 的芯片，而数据移动/Cache 则使用专门设计的 ASIC 芯片来完成。

因为有专门的硬件 ASIC 芯片用于 RAID 5 XOR 校验，3PAR 号称有了其第三代 ASIC 芯片，实现的 RAID 5 是业界最快的，甚至 SATA 盘也能有不错的性能表现。(从 Oracle 公司测试的数据来看，和 RAID 10 速度的确相差无几。)

InForm 操作系统软件与虚拟化

3PAR 的操作系统叫 InForm，最初就是面向层次化的设计。与其他存储不同的是，3PAR 所有磁盘被分成 256MB 统一大小的小盘(Chunklet)，可以根据需要用多个 Chunklet 组成 RAIDlet(逻辑磁盘)。因为这个独特的设计方式，3PAR 是可以很容易做到不同容量的磁盘混用，同一个 RAID 组里都可以有不同大小、不同转速的磁盘混用，这是其他存储做不到的。而且，所有的磁盘都可以利用，因为Hotspare Chunklet 以更小的单位分散在不同的磁盘上，也不再需要单独留热备盘。空间利用率可以更充分一些。　

多说一句，有这个冗余机制，3PAR 更换磁盘也是与众不同：直接抽磁盘盒子(一个盒子可是四块磁盘啊)，我当初看到 3PAR 技术人员这么操作真是着实吓了一跳。

因为固定大小的 Chunklet 的存在，可以将 I/O 更为均匀的分散到多个磁盘上。

对于熟悉Oracle 的朋友来说，会发现这和 ASM 的思想非常接近。因而也可以和 Oracle 数据库进行无缝集成：

因为软件做得非常具有易用性，日常管理与维护远远没有其他高端存储那么复杂，新增磁盘这种事情，都是一行命令之后底层自动处理。其实在 Thin Provisioning 方面 3PAR 也是很值得一说的，比一些厂商的伪 Thin Provisioning 具体多了。限于篇幅，不赘述。

3PAR 在美国有很多金融证券行业的客户，也有 Web 2.0 行业的客户--MySpace 。在保证 I/O 响应在 10ms 以内的前提下，3PAR 的 IOPS 能力非常优异(这才是卖点，不难理解其客户多集中在证券、金融领域)。虽然有些厂商号称能得到更高的 IOPS ，但那是在 I/O 响应时间很差的情况下的数据。要说明的是，现在随着一些存储厂商在高端服务器上也支持 SSD ，未来几年如何还要再看。

前两年 3PAR 推行所谓 Utility Storage(功用存储) 理念，现在貌似改成敏捷存储了。说实话，我觉得敏捷存储真的挺适合的，3PAR 命令行批量创建 LUN 真的很让人感觉舒服。当然，也在宣传云存储和绿色存储的理念，那是题外话了。

3PAR 原来只做中高端市场，只有 T 这一个系列，现在也开始关注中低端市场了，推出了 F 系列的产品。软硬件体系基本没变，倒是没仔细看过。

(Note: 相关图片主要来自 3PAR 公开资料.)

作者: pingfan2 时间: 2011-08-07 16:39
本帖最后由 pingfan2 于 2011-08-07 16:42 编辑

回复 1# hp-ux民工

我前一阵子也写了点3PAR相关的：

“http://bbs.chinaunix.net/thread-3572736-1-1.html” 这个页面的最下方，其中还包括架构示意图、和EMC VMAX的对比

可能和楼主有些所见略同吧

作者: hp-ux民工 时间: 2011-08-07 16:54
本帖最后由 hp-ux民工于 2011-08-07 17:02 编辑

回复 hp-ux民工

我前一阵子也写了点3PAR相关的：

“” 这个页面的最下方，其中还包括架构示 ...
pingfan2 发表于 2011-08-07 16:39

哥们写的不错呀，我还以为是转载的
emc的俺就懂cx，dmax，v-max都不懂，目前hp的3par市场接受还需要观察，还没法跟emc市场号召力相比
不过马上3par的新产品就要发布，V400 和v800，具体情况还是等月底媒体发布后方知，不过跟之前的媒体猜测还是有一定出入
自我感觉从08年金融危机后，各大it厂家新产品的开发都没有以前积极了，无论是emc，hds，还是ibm，hp，设备更新换代不比以前

本想再写些oem hds的xp和3par的一些配置细节方面的优劣的，想想还是算了，这样成内部斗争了

作者: pingfan2 时间: 2011-08-07 17:06
本帖最后由 pingfan2 于 2011-08-07 17:09 编辑

我更换故障硬盘时，会发生什么？

在3PAR T系统架构中，4块物理硬盘共享1个硬盘盒，当1块硬盘出现故障时， ...
hp-ux民工发表于 2011-08-05 17:20

对于这方面，说实话我觉得今天有更好的解决方案：

比如NetApp E5400（详见笔者的blog：http://blogold.chinaunix.net/u3/95474/showart.php?id=2546135），OEM给IBM之后的型号是DCS3700，4U 60盘位的机箱，一共有5个可以从前面装载的12硬盘位“抽屉”，并可以在保持其它驱动器活动访问的情况下添加/置换单个驱动器。

IBM资料原文：
Front load 12-drive drawers which can be extended while drives remain active allowing
Superior serviceability and easy installation or replacement of individual drives without affecting the operation of other drives.

当然类似这样比较新一些的阵列使用了SAS驱动器，而目前3PAR还是光纤盘，等到转向SAS时估计也能改进吧

作者: hp-ux民工 时间: 2011-08-07 17:15
本帖最后由 hp-ux民工于 2011-08-07 17:19 编辑

fc转sas是硬盘厂家的问题，也是大势，但是3par用sas，嘿嘿，估计。。。。。。,具体月底媒体发布后就清楚啦
同时拔4快盘是t系列才有，f没这问题，不过这是工厂设计，估计他们不认为这是个问题，否则早就改了
不知道新的v400和v800能否改进

作者: wolfop 时间: 2011-08-08 14:52
回复 14# hp-ux民工
256M是一个很尴尬的数字，说小吧，对于上层如果数据库表（假设没用ASM）或者文件不大（典型的比如redolog)的情况下，自动的方式没法充分的让足够多的磁盘参与IO，很可能有IO热点。传统的存储干脆把这个打散的操作交给上层的LVM或者数据库/表分区做，但这样需要准确地知道每个PV/LUN用的是什么物理盘。3PAR这种方式又让你很难甚至没法知道LUN使用的物理盘。结果在实际上3PAR吹嘘的跑ORACLE的不用做IO设计，实际是靠ASM缺省下1M的AU_SIZE实现的。如果没有ASM，或者跑文件，不进行详细的LAYOUT设计，其IO性能就很难说。
XIV就是另外一回事了，IBM自己没弄清楚定位，其1M的条带大小其实还算合适，当然再大一些也许更好（对于DW/OLAP），但也别太大4-8M比较合适，彻底不用考虑磁盘的lay-out设计了。到了gen3，虽然用了20Gb/s的IB互联，但仍然采用SATA的确是一个很大的软肋。如果IBM打算彻底废掉DS8000，把XIV改用QDR的IB，SAS磁盘，再适当增加GEN3每个节点的CPU数量，然后不采用SSD，而是采用PCIE接口的FLASH实现EASY TIRE的技术，XIV的性能应该会很惊人。
当然XIV还的改一点，他的虚拟化镜像的算法有问题，导致跨多机架互联的方式会导致可靠性严重下降。

作者: hp-ux民工 时间: 2011-08-08 19:05
本帖最后由 hp-ux民工于 2011-08-08 19:37 编辑

回复 hp-ux民工
256M是一个很尴尬的数字，说小吧，对于上层如果数据库表（假设没用ASM）或者文件不大（典 ...
wolfop 发表于 2011-08-08 14:52

256m大小或者太大都是相对的，相比xiv我也感觉太大；
我想既然3par定位高端存储，大部分大客户数据库用oracle的居多，而未来oracle不再支持裸设备，只支持文件系统和asm，目前越来越多的用户开始采用asm，而3PAR展现了卓越的性能、效率和灵活性；
而对于非asm，如redolog，因为文件是不大，而且读写频繁，因为占用空间不大，所以即使其他存储分给他的lun也不多，即使做条带花，分布的盘数量也不一定有3par分布的多，我这里客户就是因为这个问题，本来采用了thp，以为能够解决问题，后来发现这些厂家的thp是伪thp，问题依然没有解决，目前换用ssd硬盘，正在做测试。
比如一个200G的lun，依256M为单位，能分布多少盘那？如果其他厂家传统存储，你要分布这么多盘试试？那需要将近100个lun，性能不一定有多少提高，而且主机端做条带化对未来的扩容就是个雷，目前越来越多的存储都是在存储端做条带

作者: hp-ux民工 时间: 2011-08-08 19:34
本帖最后由 hp-ux民工于 2011-08-09 21:09 编辑

当然他也有几个不怎么样的地方
1.不支持sas盘，大家都用sas，你不用，是不是有点另类？
2.换盘麻烦，不像xp，eva那样直接就拔盘（当然只是T系列），虽然这点对于用户和销售来说不是问题，但是对于工程师来说还是费劲。估计要多干10分钟的活
3.pcx-133的总线
4.虽然说背板不是个什么问题，但不管怎么说还是个单点
5.后端依然是JBOD
5.硬件感觉不如软件那么NB
6.lun的大小调整需要额外的license，不像eva，这都是基本的免费功能
7.3PAR 的技术优势在机械硬盘时期，但未来将是SSD 的时代，追求高 IOPS ，更小 I/O 响应时间，如果全用ssd即可
8，不支持raid3

当然他有很多软件方面的NB之处，回头再贴，我也是正在看手册，一边学一边卖

作者: noodles11 时间: 2011-08-08 21:33
楼上说的thp 指的是thin provision么？

作者: hp-ux民工 时间: 2011-08-08 22:02

楼上说的thp 指的是thin provision么？
noodles11 发表于 2011-08-08 21:33

是的

作者: hp-ux民工 时间: 2011-08-08 22:11
唉，eva看着真够悬的，最近看到一个文档：
hp关于存储数据中心的设计里面居然没有提eva，只有p9500,3par，lefthand，d2d，x9000

作者: noodles11 时间: 2011-08-08 22:12
说说为什么说有些厂家的thin provision是伪thin provision?
以我的理解，只要后端的数据盘的池子里面设备足够多，就能够得到打散数据的效果。比较关键是映射给主机的逻辑盘能够支持多少的并发IO,如果本身支持的并发IO有限，后端再多的spindle也没有用

作者: hp-ux民工 时间: 2011-08-08 23:08
本帖最后由 hp-ux民工于 2011-08-08 23:12 编辑

说说为什么说有些厂家的thin provision是伪thin provision?
以我的理解，只要后端的数据盘的池子里面设备 ...
noodles11 发表于 2011-08-08 22:12

这个不能说的太细，否则这个贴可能会成为厂家之间斗嘴的贴了，就失去原贴的意愿了
先不说thp解决存储浪费的功能，只说那些在做了raid后再放入thp pool的打散磁盘技术，他们不像xiv或者3par那样，从底层就把存储打散，这些从厂家白皮书上看也是分布在所有的硬盘，也能提高性能，实际效果却未必，甚至有些厂家的设备上了thp后性能降低很多，原因何在？我也不知道
所以上线前一定要做好测试，否则上线后就自己给自己埋雷了
所以我想如果是底层就打散，应该是不会出现这种情况，其实有时候我都想找个thp划出来的盘，我去主机那里找一个dd一下，看看到底有多少个硬盘灯在亮，当然每次都是想想，安装的时候总是忘记这事，坛子里有人有机会做新安装的时候测试测试，把他们打出原形
还有些存储比如往pool里面扩盘，做raid5，每次扩进去的盘，好像都在单独做raid，跟之前的pool里面的raid没有关系，他们之间没有再做Rebuild，当然操作也就能立即生效，避免了数据移动的风险，但是这样我怀疑他们怎么把数据打散的？

作者: noodles11 时间: 2011-08-08 23:19
一般thin provision 针对的也不是对性能要求太高的应用，虽然它能取到打散数据的效果，但是如果存储的架构不是从一开始就支持这种设计的话，内部的开销也挺大的。
如果thin pool里面的数据如果不够需要扩盘，应该是分批次往里面加，不能一次只加一两快盘，这样可以使后面写入的数据也尽量分散到足够多的盘上面。厂家应该也会有重新平衡数据池的功能，不过这个要看各个厂家的设计实现了。
从底层就把存储打散，其实关键就是用多少的系统资源来实现打散的效果，有些存储发展了好多代了，要支持thin provison，只能在原来的基础上实现thin的功能，肯定消耗会大一点，而有些是新产品，设计的时候就考虑了这一点，就没有历史的负担了。

作者: tangye 时间: 2011-08-08 23:41
3PAR很强悍，并且死贵

易用性很好，据说培训用户只要现场指导一次就ok

作者: tangye 时间: 2011-08-08 23:44

256m大小或者太大都是相对的，相比xiv我也感觉太大；
我想既然3par定位高端存储，大部分大客户数 ...
hp-ux民工发表于 2011-08-08 19:05

3PAR还有一个重要市场是虚拟化

适用于oracle的产品很多

作者: tangye 时间: 2011-08-08 23:48

fc转sas是硬盘厂家的问题，也是大势，但是3par用sas，嘿嘿，估计。。。。。。,具体月底媒体发布后就清楚啦
...
hp-ux民工发表于 2011-08-07 17:15

4块盘一个槽，4U能装40块盘。这个是卖点

作者: hp-ux民工 时间: 2011-08-09 10:38

3PAR很强悍，并且死贵

易用性很好，据说培训用户只要现场指导一次就ok
tangye 发表于 2011-08-08 23:41

据说现在降价了，f200比eva84贵不多少，配置确实简单，估计不到半小时搞定，甚至跑脚本即可

作者: hp-ux民工 时间: 2011-08-09 10:40

3PAR还有一个重要市场是虚拟化

适用于oracle的产品很多
tangye 发表于 2011-08-08 23:44

现在大家都在搞虚拟化存储，就看他有什么特别之处，关于软件哪方面，跟vmware和oracle的结合我还没看

作者: hp-ux民工 时间: 2011-08-09 10:41

4块盘一个槽，4U能装40块盘。这个是卖点
tangye 发表于 2011-08-08 23:48

这有什么亮点？不就是一个盘笼多放几块盘吗？用户会在意这个？用户主要关注稳定性，性能，以及价格吧？

作者: tangye 时间: 2011-08-09 10:44

据说现在降价了，f200比eva84贵不多少，配置确实简单，估计不到半小时搞定，甚至跑脚本即可
hp-ux民工发表于 2011-08-09 10:38

哦，降价是好事情。刚出来那会儿，据说和XP差不多价格。其实XP啥价格我还真不知道

作者: tangye 时间: 2011-08-09 10:46

这有什么亮点？不就是一个盘笼多放几块盘吗？用户会在意这个？用户主要关注稳定性，性能，以及价 ...
hp-ux民工发表于 2011-08-09 10:41

这年头，数据中心的空间占用是很花钱的。DC虚拟化并托管，我前段时间接触的一个客户正在计划

作者: 夜的小宇宙 时间: 2011-08-09 19:19

我先抛砖引玉，有空发点资料先，从网上找到的，贴给大家
3PAR

1,中端存储高端化：3PAR定为于高端存储， ...
hp-ux民工发表于 2011-08-04 18:27

看了LZ的资料学到很多东西，多谢分享。

有一点感慨，呵呵，如果每家厂商的枪手都能这么专业的上来讨论问题，可能大家对产品的接受程度会更高些。（我知道LZ不是枪手，纯粹是因为看多了厂商的枪手发的感慨）。其实CU不拒绝介绍产品，关键是介绍的是否深入。

作者: hp-ux民工 时间: 2011-08-09 21:12
本帖最后由 hp-ux民工于 2011-08-09 21:17 编辑

这年头，数据中心的空间占用是很花钱的。DC虚拟化并托管，我前段时间接触的一个客户正在计划
tangye 发表于 2011-08-09 10:46

我接触到的基本上用高端存储的用户，都是在自己的机房，托管的很少，可能我接触的用户还比较少，范围比较狭窄，
我想买得起高端存储的用户，应该不会在乎这些吧？当然也可能我理解还有些片面

作者: hp-ux民工 时间: 2011-08-09 21:17
本帖最后由 hp-ux民工于 2011-08-09 21:21 编辑

看了LZ的资料学到很多东西，多谢分享。

有一点感慨，呵呵，如果每家厂商的枪手都能这么专 ...
夜的小宇宙发表于 2011-08-09 19:19

兄弟我还真不是抢手，只是个干苦力的民工而已，发这个帖子纯粹希望能够在和大家一起讨论的过程中学到更多的东西，包括3par和其他厂家的优劣之处，所以我也会帖一些我认为3par做的不够的地方。
另外我也想多发些深入的东西，可惜自己了解的也不深，最近比较闲，所以有些时间看些文档，鉴于马上新款上市，所以等发布后我直接帖新款的一些东西。

作者: noodles11 时间: 2011-08-09 22:02
欢迎继续，挺有意思的产品

作者: hp-ux民工 时间: 2011-08-09 23:04
本帖最后由 hp-ux民工于 2011-08-09 23:47 编辑

1.3par相比其高端存储配置时间和复杂度大大降低，抛开xp配置的复杂度不说，只谈时间，每次做dci，格式化后，我们就可以去睡觉了。
2.相比其他中端双控存储，
他们很难做性能方面的扩展，也难以提高的更安全的保障，某些硬件故障的时候，它这个性能可能会大幅的下降，即使是某些高端的存储，如果某一个cache 板挂掉，性能可不是降低一点点哦？将近达到90%以上了。
3。自动分层
他把不同类型的硬盘，如SSD、FC或者SATA，划分为256MB Chunklets，这些Chunklets被自动的分组，构成vv，以前是针对整个卷进行RAID划分，而现在，对子卷进行RAID划分。实现了分层的存储，从而让一个卷可以跨SSD、FC和STAT等不同的类型的硬盘。
通过对vv中不同类型硬盘IOPS的监控，就可以实现基于策略的数据自动迁移，自动在不同硬盘底层平衡工作负载，如用SSD来满足应用对IOPS要求。系统帮他决定哪个应用需要IOPS比较高，自动把这部分数据迁到SSD的硬盘上，
不像其他存储，redolog你要不放在SSD上，要不放在FC盘或者SATA上，如果我很多的文件都要求性能很高就费劲了，都要放在ssd上，但是3par就不用了，你可以把他们都放在池子里面，性能不够加ssd，容量不够加sata，其他的，管他那，唉，做3par的cpu挺累的，真不容易，我感觉未来应该就是这样，对用户越来越透明，不过以后如果全部ssd，这个功能就可以88啦,关于自动分层吹牛的东西咱不聊，网上讲的很多，也很细，不过我看很多其他厂家也有这技术了

作者: tangye 时间: 2011-08-11 18:10

1.3par相比其高端存储配置时间和复杂度大大降低，抛开xp配置的复杂度不说，只谈时间，每次做dci，格式化后， ...
hp-ux民工发表于 2011-08-09 23:04

好人啊，这是在做读书笔记吗？

作者: hp-ux民工 时间: 2011-08-12 17:49

作者: noodles11 时间: 2011-08-12 22:03
这个Full-mesh Back-Plane 是单点故障么？

作者: hp-ux民工 时间: 2011-08-13 09:02
本帖最后由 hp-ux民工于 2011-08-13 09:05 编辑

这个Full-mesh Back-Plane 是单点故障么？
noodles11 发表于 2011-08-12 22:03

一般厂家都不会扯这个，因为很多存储都是这样设计
比如ds5000放一个笼子，这也是一个单点，hds的无论高端，低端也是如此，所以因为自己也是这样的设计，就不再在这方面贬低别人了，否则哪天就是给自己埋个雷
但是我觉得算是个单点，可能会有人解释，这玩意不会坏，但是万一。。。。

作者: noodles11 时间: 2011-08-13 18:02
就像EMC的DMX-3/4 以前老被人说背板是单点故障，到了VMax，终于没这个单点了

作者: pingfan2 时间: 2011-08-13 22:57

这个Full-mesh Back-Plane 是单点故障么？
noodles11 发表于 2011-08-12 22:03

被动式背板（没有大型逻辑芯片）出现故障的几率大大降低，但就像楼上所说的那样，还是可能有万一的情况。

另外，比如出现地震等灾难，机箱被砸变形了，那背板也很难幸免。因此，容灾还是有其必要性的。

作者: hp-ux民工 时间: 2011-08-14 20:10
本帖最后由 hp-ux民工于 2011-08-14 20:21 编辑

为何只有4Gb FC接口?

相比8Gb接口，4Gb对顺序I/O数据负载的影响更大，但是对任何大量随机I/O数据块工作负载无明显影响，而3PAR专为后者而设计。3PAR认为，不仅要对数据进行宽条带化，还要对工作负载进行宽条带化。因此，在主动/被动控制器上安装2个8Gb接口，明显比不上在多个主动/主动缓存一致性控制器上安装4个4Gb接口。
在全球性能最高的阵列（3PAR T800 SPC性能指标评测）中，每个控制器节点也只有4个4Gb接口。

这有点扯了，咱没有就算了，何必那？
月底新出2型号都是8Gb的，估计以后就不会这样扯了

作者: hp-ux民工 时间: 2011-08-14 20:11
过去，3PAR是自动精简配置的领跑者，但是，现在所有同类产品都在提供自动精简配置

没错，所有的主要同类产品现在都能提供自动精简配置。
同类产品的自动精简配置是基于陈旧技术的软件，而3PAR的自动精简配置是核心架构的一部分。
除Compellent以外，所有同类产品都必须创建磁盘群组，然后应用自动精简配置。这意味着，它们必须从一开始就得预留空间。
3PAR的自动精简配置基于虚拟化，不需要磁盘群组，不需要预留空间。
所有同类产品都提供自动精简配置，但它们的自动精简配置不能适用于所有类型的卷，即快照、克隆、镜像卷、远程卷等等。
3PAR拥有适用于所有卷的自动精简配置。
同类产品不能进行实时自动精简配置，必须加载数据，然后进行自动精简配置。
3PAR可以进行实时自动精简配置。首先从庞大配置迁移卷，然后从精简配置迁移。
3PAR通过自定义ASIC支持精简转换。大多数同类产品做不到这一点。

作者: hp-ux民工 时间: 2011-08-14 20:12
升级和维护问题
Q) 什么维护需要关机？
都不需要。假设所有主机都启用了多路径功能。在这种情况下，没有一种维护或故障会让你丢失数据访问。
Q)你的竞争对手说，你需要在升级过程中关闭节点。
3PAR一次升级一个节点。假设所有主机都启用了多路径功能，我们会在升级开始之前确保至少可以在2个节点上看到主机。所有启用单路径功能的主机，都必须在升级开始之前关闭。

作者: hp-ux民工 时间: 2011-08-14 20:13
你能对缓存进行分区吗？

3PAR的缓存模式不同于以缓存为中心的架构。在以缓存为中心的架构中，需要用大尺寸缓存处理大部分I/O，用相对较少的硬盘运行LUN。
3PAR的宽条带化功能改变了大量后端IOPS的缓存模式，在I/O进入磁盘之前使用缓存缓冲I/O，而不是从单体大型机存储中吸收尽可能多的IO。如果应用的大部分I/O位于很少的容量中，你应该使用自适应优化解决方案，结合存储访问模式特点，将数据放在合适的介质中。

作者: hp-ux民工 时间: 2011-08-14 20:13
3PAR不像EMC那样可以支持主动备用……

错。3PAR有多种主动检测和暂停使用故障硬盘的方法。首先，我们会监控硬盘“自动监控、分析和报告技术（S.M.A.R.T）”
另外，3PAR也能够在Chunklet层检测故障，而同类产品做不到这一点。如果Chunklet出现了故障，我们可以重新将空间映射到同一块硬盘或另一块硬盘中的Chunklet，不会影响可用性或性能。
此外，3PAR还可以让一块有5个故障Chunklet的硬盘停止运行。其它架构没有这个级别的预测性故障分析功能。

作者: hp-ux民工 时间: 2011-08-14 20:14
你的快照在哪些方面好于同类产品？

在十年的时间里，出现了完全不同的技术（谁还记得10年前的手机是什么样子）。技术在变化。传统快照技术在写入时进行拷贝。向卷写入数据时，首先把数据从卷中拷贝出来，然后写入新的快照空间。必须预留空间，每次写入都会将数据写入每个快照空间。如果你有7个快照，那么每个前端写入就会有7个后端写入。
3PAR使用非常高效的基于指针的Copy On FIRST写入。它是基于指针的写入，不需要前期分配空间。非重复性Copy On FIRST写入指的是，每次向基础卷写入数据就相当于对所有快照进行一次更新，而且只有指针发生变化。这是一种非常高效的快照方法。

作者: hp-ux民工 时间: 2011-08-14 20:15
如果你没有非常平衡的系统，那么3PAR就不能完美运行。

错。如果你希望利用全部资源获得最高性能，在逻辑上，高度平衡的系统运行性能最佳。在每个节点对后面安装8个硬盘托架共320块硬盘，可以打造性能最高的系统。然而，这个系统经过严格的设计与测试，在不平衡的状态下运行时也不会出现任何问题。如果你的系统在2个节点上安装320块硬盘，在另外2个节点上安装80块硬盘，那么这个系统能够正常运行，交付400块硬盘的性能。然而，仅安装80块硬盘的2个节点得不到充分利用，因为它可以驱动更多的后端硬盘。当硬盘数量增加到320块时，便可以充分发挥这2个节点的潜能。
在更大规模的配置中，平衡配置有助于充分利用所有资源。例如，托管服务提供商有一个主动式部署，用2个装有160块硬盘的节点作为第一构建块，然后用160块硬盘作为下一个构建块，接下来用2个节点和160块硬盘作为下下个构建模块，依此类推。

作者: hp-ux民工 时间: 2011-08-14 20:16
3PAR为何不提供SAS硬盘？

3PAR从两个优点评估硬盘技术：最大限度降低每GB成本，最大限度降低每IOP成本。通过InSpire架构，我们可以从不同于大多数传统厂商的角度看待存储介质技术。例如，从固态硬盘角度讲，3PAR是市场上的后来者。事实是，借助每IOP成本更低的15K RPM硬盘，我们可以达到高IOPS和低延迟的目标。我们知道，推出自适应优化是实现真正差异化的关键。
HP 3PAR始终希望将最成熟、最稳定的存储产品供客户使用。

作者: noodles11 时间: 2011-08-14 22:39

你能对缓存进行分区吗？

3PAR的缓存模式不同于以缓存为中心的架构。在以缓存为中心的架构中，需要用大尺 ...
hp-ux民工发表于 2011-08-14 20:13

能不能再仔细介绍一下这个缓存是怎么运作的？看起来好像数据一定要分散到尽量多的磁盘，这样应用的响应时间才会好。在这种情况一下，如果整个系统如果存储的利用率比较高，而系统又比较繁忙的情况下面，会不会对响应时间影响很大？

作者: hp-ux民工 时间: 2011-08-14 23:03

3PAR20091118persistentcache.rar (926.09 KB, 下载次数: 1858) 3PAR PERSISTENT CACHE（持续缓存）软件功能介绍

作者: hp-ux民工 时间: 2011-08-14 23:12
3PAR：优化IO服务级别

ESG_io_service_optimization_wp_szh.rar (308.63 KB, 下载次数: 103)

作者: lyt_2008lyt 时间: 2011-08-15 09:47
学习了

作者: tangye 时间: 2011-08-15 13:47
开始放资料啦

作者: hp-ux民工 时间: 2011-08-15 14:08
担心自己表达不清楚，我干脆把一些手头的能够在不违反相关政策的情况下给大家发出来

作者: bryan_king 时间: 2011-08-19 02:36
受益匪浅

作者: tyzhang3 时间: 2011-08-21 13:07
兄弟你是谁啊，hp 3par就那几个人，我认识不少，看着都不像你啊。。

作者: cuchina 时间: 2011-08-22 19:28
提示: 作者被禁止或删除内容自动屏蔽

作者: LouisJi 时间: 2011-08-25 16:18
进来学习的。

作者: storm the front 时间: 2011-08-25 16:27
回复 63# tyzhang3

3par就那么几个人
ibrix就那么几个人
lefthand就那么几个人

一般来说，收购的产品线，国内的support力量特别薄弱，出了问题转二线老外的居多

作者: milujite 时间: 2011-08-25 17:03
学习～

作者: hp-ux民工 时间: 2011-08-25 22:21
最近在外出差，回去后再继续给大家分享资料

作者: hp-ux民工 时间: 2011-08-25 22:22

兄弟你是谁啊，hp 3par就那几个人，我认识不少，看着都不像你啊。。
tyzhang3 发表于 2011-08-21 13:07

我又不是什么大佬，只是一个无名小卒，你怎么会认识？

作者: hp-ux民工 时间: 2011-08-28 08:54
本帖最后由 hp-ux民工于 2011-08-28 09:00 编辑

可能大家已经看到了3par新产品的发布了：v400，v800

3par.JPG (55.99 KB, 下载次数: 54)

作者: wolfop 时间: 2011-08-29 15:43
这个SPC1的结果，和VSP的OEM版本没法定位了吧。

作者: 夜的小宇宙 时间: 2011-08-29 17:26
回复 70# hp-ux民工

V400，V800就是对应惠普P10000吗？具体型号是怎么编的？

作者: hp-ux民工 时间: 2011-08-29 20:39

这个SPC1的结果，和VSP的OEM版本没法定位了吧。
wolfop 发表于 2011-08-29 15:43

至少硬盘还是有区别的

定位确实比较为难，坐等hp产品那边的来解释

作者: hp-ux民工 时间: 2011-08-29 20:40

回复 hp-ux民工

V400，V800就是对应惠普P10000吗？具体型号是怎么编的？
夜的小宇宙发表于 2011-08-29 17:26

p10000分这两个型号v400和v800

作者: hp-ux民工 时间: 2011-08-29 22:10

作者: pingfan2 时间: 2011-08-30 12:48
本帖最后由 pingfan2 于 2011-08-30 22:36 编辑

回复 75# hp-ux民工

Chunklets 的大小从256MB增加到1GB，可是最大容量只翻了一倍

详见：http://stor-age.zdnet.com.cn/stor-age/2011/0830/2055049.shtml

这个有点不太合理吧？

作者: hp-ux民工 时间: 2011-08-30 22:27
本帖最后由 hp-ux民工于 2011-08-30 22:37 编辑

回复 hp-ux民工

Chunklets 的大小从256MB增加到1TB，可是最大容量只翻了一倍

详见：

这个 ...
pingfan2 发表于 2011-08-30 12:48

1. 是1G，不是1T
2. chunklet跟控制器的os版本有关，跟容量没什么关系，以前的T和F系列也可以用这个版本
3. 容量增加不少了

作者: pingfan2 时间: 2011-08-30 22:36

是1G，不是1T
hp-ux民工发表于 2011-08-30 22:27

不好意思，敲错了

作者: hp-ux民工 时间: 2011-08-30 22:48

不好意思，敲错了
pingfan2 发表于 2011-08-30 22:36

你那个连接怎么是不支持iscsi？
明明支持10G的呀？

作者: pingfan2 时间: 2011-08-31 22:14
本帖最后由 pingfan2 于 2011-08-31 22:15 编辑

你那个连接怎么是不支持iscsi？
明明支持10G的呀？
hp-ux民工发表于 2011-08-30 22:48

我看HP官网上的规格和资料，目前还不支持iSCSI啊？只有8Gb/s FC

明天再看看Quick Spec

您看的不会是HP内部资料吧...

作者: hp-ux民工 时间: 2011-08-31 22:32

我看HP官网上的规格和资料，目前还不支持iSCSI啊？只有8Gb/s FC

明天再看看Quick Spec

您看 ...
pingfan2 发表于 2011-08-31 22:14

是内部资料，说是
Optional 10Gb/s iSCSI host ports
Optional 10Gb/s FCoE host ports
但是不知道是怎么个option法，还是等公开的资料出来后，以公开的为准

作者: wuxisunxd 时间: 2011-09-01 23:38
我想请教一下3PAR的快照技术是否能够在LUN出现逻辑错误的时候正常恢复？

作者: wuxisunxd 时间: 2011-09-01 23:39
我想请教一下3PAR的快照技术是否能够在LUN出现逻辑错误的时候正常恢复？

作者: hp-ux民工 时间: 2011-12-21 17:55

wuxisunxd 发表于 2011-09-01 23:39
我想请教一下3PAR的快照技术是否能够在LUN出现逻辑错误的时候正常恢复？

看什么样的逻辑错误了，不过你要先了解快照技术先

作者: hp-ux民工 时间: 2011-12-21 17:59
最近忙于其他几个case，很少看资料了

目前的其他很多厂家的存储设备，thp只是一个对抗竞争对手的功能而已，都不怎么完善，也不敢像3par那样敢于大张旗鼓作为噱头，比如hds，比如ibm的v7000
甚至ibm的v7000直接不推荐用thp

Note: Thin-provisioned volumes require additional I/O operation to read and write
metadata to the internal disks or to the back-end storage, which adds additional load to the
IBM Storwize V7000 nodes. We therefore do not recommend the use of these volumes for
high performance applications, or any workload with a high write I/O component.

作者: beggeb 时间: 2011-12-27 14:22
回复 11# hp-ux民工

如果这样做没有什么额外的好处的话，这个是不是有自己给自己找麻烦的嫌疑？

作者: klin121628 时间: 2012-03-12 16:58
感谢LZ。有打包的资料不？一直觉得3PAR的产品比较有特色

作者: cjhvslhb 时间: 2012-05-22 10:02
我个人的感觉：
1.3par不是来替代P6000系列的，是准备替代P9000就是XP的，HP和HDS的关系估计也那啥了；
2.现在HP销售对3PAR的推广力度不大；
3.HP对3PAR的整合速度太慢了，都收购这么久了还没完全整合到HP的存储产品线里面去，
4.国内都还没有工程师上过3PAR的培训。。。。

作者: pingfan2 时间: 2012-05-22 22:00
回复 88# cjhvslhb

无语了...

作者: deadlysins 时间: 2012-05-23 09:58
回复 88# cjhvslhb

兄弟你完全错了，目前HP对于3par的销售异常关心，甚至销售3par的slaes有额外的奖励。国内的3par已经有不少的install base。甚至V400，V800高端系列都有很多，而且国内培训过3par的兄弟也不少咯，估计现在国内能做3par installation的在30人以上。

作者: cjhvslhb 时间: 2012-05-28 22:06
消息落后了。。。
在成都这边还没兄弟装过SD2和3PAR呢。。。。

作者: deadlysins 时间: 2012-06-21 11:42
不是吧，兄弟，我们都装了N套Superdome2和3par了。

作者: hp-ux民工 时间: 2012-06-29 13:05
回复 91# cjhvslhb
不是吧？
SD2我们去年都装了N套了
3par倒是今年才开始装，不过也装了有10多台了

作者: shangle66 时间: 2014-01-08 12:49
谁有3PAR的管理软件可以分享下啊，在下万分感谢

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)