免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2626 | 回复: 0

[RAID与磁盘阵列] IBM企业存储服务器 ESS800 Global Mirror ®( 异步PPRC)性能研究 [复制链接]

论坛徽章:
0
发表于 2009-07-20 23:30 |显示全部楼层
本文对 IBM企业存储服务器 ESS800 的Global Mirror(异步PPRC)功能进行了简要介绍,着重分析了ESS800的相关拷贝复制功能的性能影响并
给出了相应调优建议。
说明:
本文适用于2105-800 Global Mirror(异步PPRC)所支持的所有环境。详情请参考 www.storage.ibm.com .

    IBM企业存储服务器 ESS800 Global Mirror ®( 异步PPRC)性能研究


    概述
    IBM 为企业存储服务器 (ESS) 的异步端到端远程复制( PPRC )的基础上推出了 Global Mirror ,为 ESS 提供了额外的灾难恢复功能。本文概括介绍了开放系统和 z/OS 环境下的 Global Mirror (愿为异步 PPRC )的性能分析,提供了通用的配置和计划建议,并回答了一些常见的问题。
    工作负载特性与测量配置
    本文中的信息包括由 IBM Tucson 性能实验室完成的实际测量过程。基于对客户需求的了解, IBM 提取了几种有代表性的典型应用 I/O 工作负载进行研究。下面列出了对工作负载特性的高级描述。
    开放环境工作负载 :
    l 70/30/50 型- 70% 读, 30% 写, 50%cache 命中,这种工作负载被认为与开放系统环境中典型的在线交易处理应用很相似。
    读 / 写比= 2.33 ,读命中比 = 0.50 , destage 率= 17.2% ,传输块= 4KB
    l 顺序型-这些工作负载与典型的视频图像或数据仓库应用很相似。
    100% 读或 100% 写, I/O 到磁盘,以 64KB 的块大小传输,顺序访问模式
    z/OS 工作负载 :
    l 标准 Cache 型-这种工作负载与 z/OS 环境下典型的在线交易处理很相似。
    读 / 写比= 3 ,读命中比= 0.735 , destage 率= 20.3% ,传输块= 4KB
    l 集中写型-这种工作负载与标准 Cache 型相似,但是写操作的比例大的多。尽管这种工作负载不算典型,它还是可以代表一些进行高比例写操作的应用。
    读 / 写比= 1 ,读命中率= 0.735 , destage 率= 20.3% ,传输块= 4KB
    l QSAM 顺序型-这种工作负载于典型的批处理应用相似。
    100% 读或 100% 写,从 ( 到 ) 磁盘的 5 × 27KB 或 6 × 27KB 传输,顺序访问模式。
    测试配置
    l ESS 机型 800 ,配有 Turbo II 选件和 16GB cache ,作为 Global Mirror (异步 PPRC )主机。
    l ESS 机型 800 ,配有 Turbo 选件和 16GB cache ,作为 Global Mirror (异步 PPRC )从机。
    l 256 X 6 GB 3390 逻辑卷,每基地址带有 3 个 z/OS 的并行访问卷( PAV )别名;用于开放环境测量的 256 X 6.5 GB LUNs 。
    l 72.8GB 磁盘,配有多个 HDD , 15KRPM , RAID5
    l 开放环境测量用八个光纤通道 2Gb 适配卡, z/OS 测量用八个 FICON Express 2Gb 适配卡
    l Global Mirror (异步 PPRC )链路通过 CNT Ultranet Edge Router 机型 3000 FCPIP 通道扩展器,具有 GigE 数据率能力,使用 Empirix Packetsphere 来仿真 IP 网上的距离。 IP 网由两个专用的千兆以太网 WAN 连接组成。
    l 建立测试对使用的 Global Mirror (异步 PPRC )链路还穿过 Ciena CN 2000 存储扩展平台,一个 Anue ASDG 1225 时延产生器,两条专用 OC12 线路。此 Anue 时延产生器只支持 3000 英里距离内的仿真。
    l 开放环境测量使用 p 系列 7040 或 p690 AIX 服务器。 z/OS 测量使用 z900 2064 处理器。
    相关术语:
    以下术语和缩写将在本文中大量使用。关于灾难恢复术语和概念的更深入的讨论可参见本文的参考文献 [1] 。
    l Metro Mirror (端到端远程拷贝 - PPRC )- IBM 通过直接连接磁盘存储系统,为数据创建同步一致的远程拷贝的技术。
    l Global Mirror (异步端到端远程拷贝 - 异步 PPRC )- PPRC 的异步版本,可用来创建远程数据的一致拷贝。
    l Global Copy (端到端远程拷贝-扩展距离 - PPRC-XD )- IBM 创建持续远程数据拷贝的技术。这种拷贝是异步的,且通常是不一致的。
    l z/OS Global Mirror (扩展远程拷贝 - XRC )- I BM 创建远程数据的异步一致拷贝的技术,使用 z/OS 主机软硬件来管理拷贝。
    l 恢复点目标( RPO )- 异步数据拷贝与源数据的时间差,用来指示毁坏源数据的灾难发生时多少数据有可能被丢失。
    l 一致组间隔( CGI )时间 - 一个值,可基于想要的达到的 RPO 对其进行设置,来控制异步 PPRC 。
    l 地理分布并行系统 (GDPS®) - z/OS 上的一种多点应用可用解决方案,提供管理远程存储子系统配置并自动化并行系统操作任务。所有 GDPS 功能都可在一单控制点执行,因此简化了系统资源管理的工作。 GDPS 是为最小化或潜在消除任何灾难或计划的站点失效带来的不利影响而设计的。
    概述
    目前企业级存储服务器( ESS )上为满足灾难恢复需求存在着几种拷贝服务功能。下表列出了这些功能的简单描述和较高层次上它们各自的优劣之处:
    拷贝服务功能
    描述
    优点
    备注
    同步 PPRC ( Metro Mirror )
    对远端数据的同步拷贝
    对数据的镜象拷贝,快速数据恢复时间,距离上限 300km
    会轻微影响性能
    PPRC-XD ( Global Copy )
    持续拷贝,确保数据一致性
    距离几乎没有上限,适合数据移植
    拷贝的进行较为零散,但通过同步可变一致
    Cascading PPRC ( Metro/Global Mirror )
    异步拷贝, 可级联扩展距离拷贝
    距离几乎没有上限
    需要额外的磁盘硬件
    XRC ( z/OS Global Mirror )
    z/OS 软件控制的异步拷贝
    距离几乎无上限,高度可扩展性,很低的 RPO
    需要额外的主机硬件和软件,若超过带宽能力限制, RPO 会增长,或者性能会受到影响。
    异步 PPRC ( Global Mirror )
    异步的的拷贝,无需服务器
    几乎无距离上限,可扩展,很低的 RPO
    若超过链路带宽, RPO 会增长 Global Mirror (异步 PPRC )是 IBM 在远程镜象和商务数据连续领域开发的最新技术。它是异步的,是因为主机在数据复制到拷贝之前完成数据写入。相对于同步 PPRC ,这种方式提供了性能上的好处。在 180 英里( 300km )之内的距离上,这种性能上的提高通常小得可被忽略,因此近距离拷贝时推荐使用同步 PPRC 。异步 PPRC 则通常用于 180 英里( 300km )以上距离的数据拷贝。事实上,没有物理的距离限制,唯一的限制是要求有合适的网络连接和带宽。
    Global Mirror (异步 PPRC )类似 PPRC-XD 的自动扩展版本。在 PPRC-XD 中, PPRC 建立(初始拷贝)的算法用于把数据移至另一个远端的另一个 ESS 。并且,使用一个位图( bitmap )来指示哪个逻辑轨道的数据发生了变化,而不是同步地把每个数据更新送到远端的 ESS 。在开始把逻辑卷所有轨道的数据都传送了一次后,算法将循环检查 bitmap ,不停地寻找需要更新的数据。简单的说,逻辑卷基本保持在其被建立时的状态。更新以包的方式有效率地传送到远端的 ESS 。使用这种方法,拷贝将是“零散”的,拷贝与源数据相比有时可能会有点过时,无法保证更新的命令在远端逻辑卷上肯定会生效,但是, Global Copy 是设计为拷贝的解决方案而不是镜象的解决方案,因此,这种方法在很多应用场合都工作得很好。可以用命令改变操作模式,从 PPRC-XD 转换为同步 PPRC 。这种“开始同步”过程可以手动进行也可通过某种自动化脚本。一旦同步过后,就可以用 IBM TotalStorage FlashCopy® 功能来创建一个次级卷的即时拷贝( point in time copy )。在异步 PPRC 时,这个过程不会进行同步,而使用“暂停”(在写 I/O 时的短时延迟,通常小于 50ms )来代替“冻结”(意味着读写时更长的延迟)。可跨一组 ESS 系统来维持数据一致性。一个 ESS 作为主机( master ),控制几个从机( subordinate ) ESS 系统的异步 PPRC 行为。异步 PPRC 循环过程包括以下三个状态:
    1. 常规 PPRC-XD 操作
    2. 增量悬置( Increment Pending )
    3. 一致性组形成( Consistency Group in Progress )
    在 PPRC-XD 状态中,更新不断被送到次级卷。次级卷不在一致状态。若同一轨道需要被写 2 次,写操作可在送出之前累计。当增量悬置( increment pending )开始时,所有到源数据的写操作将被暂停一定时间,这段时间中,主机( master ) ESS 会在所有从机( subordinate ) ESS 系统间完成一致组( consistency group )的协调。一旦一致组的协调完成,主机写操作继续,所有一致组中的数据(不是全轨道的)被传送到了次级卷。这个过程有时被称为“排空( draining )”。当排空过程结束时,次级卷就通过 IBM FlashCopy 功能完成了自动拷贝,形成了一致组。这时我们就回到了 PPRC-XD 状态,然后这个过程继续循环。次级卷的 FlashCopy 提供了一致的即时拷贝( point in time copy )。
    有三种变量可以被设置来控制异步 PPRC 行为。一个称为一致组间隔( Consistency Group Interval (CGI) Time )。这个变量描述形成一致组行为的时间间隔。建议的值为 0 到 20 秒。 CGI 可以由拷贝服务网络界面或命令行( CLI )方式设置。 CGI 设置为 0 意味着形成一致组的行为会不断地进行。通常这会带来最小的平均 RPO 。第二个变量是最大协调时间( Maximum Coordination Time )。这个变量是一致组出错信息到来之前,停在增量悬置状态允许等待的最长时间。如果建立一致组失败,会带来 RPO 的增长,但是不会影响异步 PPRC 循环。由于写操作在增量悬置时被暂停了,更长的最大协调时间可能会带来增量悬置状态期间更大的写操作响应时间。但是,仅仅把最大协调时间调高并不会直接带来更长的响应时间。这只是一个最大配置值。增量悬置的实际持续时长通常会小得多-通常在 2 到 3 毫秒之间。最大协调时间的建议配置值为 50 毫秒(缺省值)。一般来说,考虑到高工作负载的应用,或形成一致组中出现的错误必须降低到最低程度时,最大协调时间可以设的高一些。最好不要在一致组形成过程中调整此配置。第三个变量是最大一致组排空时间( Maximum Consistency Group Drain Time )。这个变量提供了确定形成一致组中出错前等待排空的时间的上限。建议不要改动这个变量 30 秒的缺省值,除非 IBM 在特定安装中建议了其他的配置值。协调时间和最大排空时间变量只能通过命令行( CLI )设置或改变。
    异步 PPRC 性能
    考虑异步 PPRC 实现时,有两个关键的性能问题:它将对应用 I/O 操作性能产生什么影响?一致组的数据会有多新? Global Mirror (异步 PPRC )被设计为提供低恢复点目标( RPO )的同时最小化任何 I/O 操作的响应时间。如果出现了未预期的工作负载高峰,或者如果出现了带宽问题, Global Mirror (异步 PPRC )将延长 RPO ,以维持较低的 I/O 操作响应时间。许多客户已经指出,他们最关心的是保持他们的应用迅速顺利地运行,而不想要灾难恢复功能降低应用运行的速度。 Global Mirror (异步 PPRC )支持这种需求。
    图一比较了 1000 英里 Global Mirror (异步 PPRC )的性能和基础性能(不使用 PPRC )。工作负载是 70/30/50 型,可代表开放系统环境中的典型在线处理应用。系统配置为单个带有 Turbo 2 功能的主 ESS ,单个次级 ESS ,使用两条 PPRC 链路以及一个 CNT 通道扩展器。图中显示了 I/O 率和响应时间的关系。每个点上还以秒为单位标出了测量到的 RPO 值。


    由于 IBM 设计 Global Mirror 时的高标准,直到接近这种工作负载的饱和点,没有性能上的显著差别。除开在最大的 I/O 率下时, RPO 值一直在 2 到 5 秒之间变化。在适当的容量计划下,用户将能在他们自己的生产环境中得到类似的结果。在 z/OS 环境上也进行了类似的实验,图 2 描述了在 z/OS 测试中的硬件配置。


    注意此测试使用了两个主 ESS ,连接到单个次级 ESS 上,两个主 ESS 共享 8 个 2Gb 的 FICON Express 通道。此配置的最大吞吐量被主通道的数量所限制。
    图 3 显示了此测试的性能结果。 PPRC 距离为 1000 英里,工作负载为 z/OS 标准 Cache 型。注意与图 1 的区别。

    在此测试中,在大约 17500 I/O/Sec 吞吐量级别之内, RPO 仍然保持在 5 秒以下。与非 PPRC 的情况相比,响应时间有一些增长,但是在 17,500 IO/sec 内通常小于 10% ,证明 Global Mirror 的设计目标被很好地实现了。
    看看某特定卷在一致组形成之间的时间间隔中有多么不同步是很有趣的。图 4 描述了在以上讨论的 z/OS 标准 Cache 型测试中,一个单独的逻辑卷上未同步的轨道数与时间的关系。峰值点指示一致组已经开始形成。不同峰值之间的时间间隔就是 RPO 。


    此表显示了一致性组( CG )在常规异步 PPRC 操作中形成的规律。由于异步 PPRC 只传送修改过的部分,而不是传送整个轨道,数据丢失也大大减少。注意,开放环境和 z/OS 环境的数据可以在同一个一致组内并存。
    还运行了另一个 z/OS 标准 Cache 型测试,但是这次只有一个主 ESS 与次级 ESS 搭配。此次的配置中有限的资源不再是主通道,而是 ESS 的处理能力。此测试的结果在图 5 中示出:

    只有一个主 ESS 时,在 15,000 IO/sec 以上的吞吐量时, RPO 维持在 3~5 秒范围。这比大多客户的典型要求值的两倍还高。但是,响应时间在超过正常操作范围的吞吐量级别时增长了 10% 。同时,最大系统吞吐量也减少了。因此,只要可能,把各个卷分散到远程拷贝跨越的多个 ESS (如图 2 )可以提供更大的吞吐弹性。


    图 6 显示了 Global Mirror (异步 PPRC 性能)与 XRC 性能的直接比较。在两种测试中,都使用了一个主 ESS 和一个次级 ESS 。此数据显示, Global Mirror (异步 PPRC )可提供与 XRC 相似的响应时间和吞吐量。 Global Mirror (异步 PPRC )的响应时间有时稍长,但能达到的最大吞吐量基本接近 XRC 。由于性能方面 Global Mirror (异步 PPRC )和 XRC 基本相同,通常决定选择哪一个时性能并不是关键因素。如果配置合理,两种技术都可提供良好的响应时间和 RPO 。
    另一种重要的考虑是顺序写工作负载时, Global Mirror (异步 PPRC )的性能。顺序写操作经常是批处理应用的重要组成部分。图 7 显示了增长的顺序写操作对 RPO 时间的影响。配置为一个主 ESS 连接到一个从 ESS 。此测量在距离零, 1000 和 3000 英里下的 LIC 级别 2.4.1 进行。

    注意带宽的能力并不会随着距离增长而下降,在此配置中,主 ESS 和从 ESS 间的最大顺序带宽大约为 125MB/ 秒。当距离增大, RPO 会增长。即使如此,在 1000 英里的测试时, RPO 还是保持在 3~5 秒,使用了约 80% 的总可用带宽。为了在更高的吞吐量级别上维持 RPO 在此范围内,就需要更大的带宽。
    这指出了一个事实,主 ESS 与从 ESS 间的带宽对 RPO 值的影响很大。当带宽受限时, RPO 会上升。更重要的是,如果应用写使用的带宽超过端到端带宽一段时间,就不可能形成一致组。次级数据会越来越过时。在带宽不够时,次级数据不可能被足够快地更新以维持在与源一致的状态。但是,如果端到端带宽能力被超过了一段时间,一旦这种突发负载状况结束后,系统会自动进行后续恢复,再次开始形成一致组。
    为了解释这个过程,使用开放环境中 70/30/50 型负载运行了一个测试。工作负载被设置为在约 13,000 IO/sec 的吞吐量下, 1000 英里距离上运行异步 PPRC 。还是应该注意,这种吞吐量已经是大多客户典型需求的 2 倍。使用了一个主 ESS 和一个次级 ESS 。一致组形成, RPO 在 2 秒以下。在一个时间点,运行了一个作业,它在约 102 秒内顺序地写入约 16GB 的数据。此作业本身的数据率约为 144MB/sec ,超过了 80MB/sec 的端到端带宽能力。这样,最大排空时间就被超过了,一致组停止形成。在此突发写操作作业结束后,系统开始恢复。大约 20 分钟后,系统已经完全恢复,一致组再次形成。 RPO 时间回到了突发写操作发生以前的水平。图 8 描述了此测试的结果:


    初看起来,可能会觉得奇怪,为什么一个只持续 102 秒的写突发会用上整整 20 分钟的时间来恢复它造成的数据不一致。这可以基于异步 PPRC 操作和一些简单的计算来作出解释。当一致组在通常情况下形成时, RPO 时间会比数据在 Cache 中停留的时间少得多。 ESS 在端到端链路上只传送发生改变的记录。顺序写突发和 70/30/50 的负载超过了端到端带宽约 72 MB/sec 。在 102 秒的时间内,这代表了多达 7GB 以上的数据亏空。当写突发结束时, 70/30/50 工作负载消耗大约 34 MB/sec 的带宽,只留下约 46 MB/sec 的带宽供修补此亏空之用。但是,此时很多 70/30/50 工作负载更新的 4KB 记录已经移出了 Cache 。当要传送这些数据到次级 ESS 时,整个 32KB 的轨道必须被全部传送。假定要传送的大部分数据都符合这种模式,这就将数据亏空增加到了 59GB 。在 46MB/sec 的带宽下,传送此 59GB 数据会用去 21 分钟。
    此测试明确显示了一个事实:当 RPO 较小时, Global Mirror (异步 PPRC )使用端到端网络最有效率。它还显示了 Global Mirror (异步 PPRC )可从一个大型的写突发中恢复而不影响主机性能。这样,就需要在网络带宽能力和 RPO 之间找到平衡――如果用户想保持低 RPO ,就需要规划额外的网络带宽能力,来吸收峰值或繁忙期的需求。用户也可以选择只配置适合平均工作负载的带宽,作为经济的解决方案,但是在峰值时 RPO 会增长。
    在为 Global Mirror (异步 PPRC )作规划时,创建远距离的初始 PPRC 拷贝(创建对)的时间是另一个重要的考虑因素。图 9 显示了实验室测试中在各种不同仿真距离上,分别使用两个不同的通道扩展器提供商提供的硬件得到的创建带宽。在两种情况下,均未观察到远距离建立中明显的性能下降。由于 Global Mirror (异步 PPRC )使用创建算法来移动数据,此图显示了远距离上不会有 PPRC 带宽能力损失。


    带宽规划
    为了有效地部署一个 Global Mirror (异步 PPRC )解决方案,适当地规划需要多少带宽来达到性能和 RPO 目标十分重要。提供适当带宽的网络结构经常是实现灾难恢复中的最大支出。 IBM 创建了一种名为“异步 PPRC 带宽估计器( Asynchronous PPRC Bandwidth Estimator )”的工具来辅助规划的过程。此工具可在 IBM 存储销售专员和商业伙伴处得到。
    异步 PPRC 带宽估计器是一个扩展表格( spreadsheet )工具,目的是估计在主站点和次级站点间需要的最小带宽。此工具需要两套输入:主站点的硬件配置(如, ESS 的数量,到每次级 ESS 的光纤适配器的数量,等等),以及工作负载的主要特征(如主机到主站点的 I/O 吞吐率,读 / 写比率,等等)。作为输出,此工具估算整体最小带宽,并转换为需要多少通用链路(如: OC3 , OC12 ,等等)。
    主机活动总是在变化的。 I/O 吞吐率也随各种因素而变化,如一天中的不同时间,应用特性,每个客户的不同需求等等。因此,为一天中的不同时间考虑带宽规划需求,来做出主站点和次级站点需要多少带宽的最后决定是很重要的。一些业务可以容忍峰值活动期间 RPO 的上升,因此他们可以规划适用于他们平均主机活动的带宽。另一些业务可能需要维持较小的 RPO ,因此需要能适应峰值时活动的带宽。 异步 PPRC 两种需求都能满足!
    客户如果考虑使用异步 PPRC ,且需要进行带宽规划分析,可以联系他们的 IBM 存储销售专员或 IBM 商业伙伴。
    常见问题
    问:引入 Global Mirror (异步 PPRC )技术后, z/OS 扩展距离远程拷贝( XRC )会被淘汰吗?
    答: IBM 会继续提供 XRC 。 IBM 的 XRC 技术已经在全球被许多客户使用。自从 1995 年引入后, XRC 就成为了工业界普遍认可的镜象解决方案,提供多个磁盘提供商子系统间的互操作性,并保护现有投资。用 XRC 实现 GDPS® 支持 z/OS 平台上的端到端 IT 结构灵活性。可以预见,未来 IBM 会开发某种级别的 XRC 和异步 PPRC 间的互操作能力。
    问:当使用异步 PPRC 时,我能使用带有 Turbo2 选件的 ESS 机型 800 吗?
    答:一般来说,这是个好主意,而且是我们推荐的配置。 Turbo 2 选件提供更多的处理能力。如果工作负载中等(在 5000 IO/sec 以下), Turbo 2 选件可能不需要。
    问: ESS 机型 750 适合与异步 PPRC 一起部署吗?
    答:这要看情况。对于中等的工作负载,机型 750 可能是最便宜的解决方案。向你的 IBM 磁盘市场专家咨询 Disk Magic 建模工具的使用方法,来确定这种配置是否可行。
    结论
    Global Mirror (异步 PPRC )在开放系统中, z/OS 中,或异构操作系统环境中提供成功实现灾难恢复的解决方案所需的功能和性能。只要适当地进行容量规划,用户可部署 Global Mirror (异步 PPRC )配置来满足他们的性能需求。实验室测试显示,可在 1000 英里距离上实现 RPO 3~5 秒的目标,且与不使用 PPRC 时相比,响应时间增长不到 10% 。要适当地部署 Global Mirror (异步 PPRC ),适合的端到端网络带宽是唯一最重要的关键因素。


本文来自ChinaUnix博客,如果查看原文请点:http://blog.chinaunix.net/u/2984/showart_2001804.html
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP