NetApp 存储网络和硬件 RAID 的比较(Z)

squall_wb

竞争性数据库存储技术的性能比较：NetApp 存储网络和硬件 RAID 的比较


TR3145：Dan Morgan, Network Appliance, Inc.
[06/10/2002]

1. 执行概要
2.数据库存储技术背景
  2.1. JBOD
  2.2. RAID
  2.3. 存储网络
  2.4. 直接访问文件系统 (DAFS)
3. 测试说明
4.测试结果
  4.1. 标准声明
  4.2. 标准解释
    4.2.1 平均响应时间
    4.2.2 已用磁盘容量
    4.2.3 磁盘访问时间
    4.2.4 磁盘卷创建
    4.2.5 单位时间间隔的事务数
5. 技术细节
  5.1. 数据库服务器
    5.1.1 NFS 安装选项
  5.2. Oracle 设置
    5.2.1 常规设置
    5.2.2 NetApp 存储网络
    5.2.3 硬件 RAID
  5.3. 网络设置
  5.4. 磁盘和卷设置
    5.4.1 NetApp 存储网络
    5.4.2 硬件 RAID
  5.5. 缓存配置
    5.5.1 CLARiiON FC4700
  5.6. 直接访问文件系统 (DAFS) 数据库加速器 (DDA) 设置
    5.6.1 服务器端
    5.6.2 客户端

[TR3145]
--------------------------------------------------------------------------------



1. 执行概要
这是基于 TR3105 中记录的竞争性数据库存储技术的一组性能测试的更新信息。它是对原测试所关注的两项技术的补充，即
采用 Network Appliance™ Filer 的存储网络
采用 Veritas（具有高速 I/O）的软件 RAID
此更新信息还包括下列新技术：
JBOD
硬件 RAID
Network Appliance DAFS 数据库加速器 (DDA)
下列网络图中包含了测试中采用的三项主要配置：







下表提供了此测试的结果：
标准 JBOD DDA NFS
Jumbo FC4700
RAID1+0
Raw FC4700
RAID1+0
Vxfs QIO
平均响应
时间（秒） .12 .12 .15 .15 .16
已用磁盘容量 13% 16% 16% 26% 44%
磁盘访问时间（毫秒） 18 9 11 18 16
磁盘卷创建 3.5 小时 < 2 分钟 < 2 分钟 4 小时 4 小时
单位时间间隔的事务数 47,895 48,215 39,123 38,235 38,569

本文的其余部分将概述所要比较的技术、所执行测试的更详细说明以及这些测试中所用配置的技术详细信息。
2. 数据库存储技术背景
2.1. JBOD
传统上，数据库存储市场由 JBOD（即大量磁盘）技术占主导位置。它由通过 SCSI 或光纤通道控制器与数据库服务器相连的磁盘组成，没有使用 RAID（廉价磁盘冗余阵列）。尽管 JBOD 技术易于理解，但却具有很多缺点，包括缺乏高可用性，而且调整难，费用高。因此，使用 JBOD 存储数据库文件的市场份额日趋下降，正逐渐被 RAID 和存储网络技术所取代。
2.2. RAID
RAID 解决方案能弥补 JBOD 技术的大多数缺陷。RAID 系统能将负载平衡分配到一组轴上，从而提供一种自动平衡负载的方法。当 RAID 阵列中的单个磁盘驱动器出现故障时，RAID 系统无需恢复备份即可还原数据。这些优点的代价就是存储效率和性能。RAID 的主要形式是 RAID5 和 RAID0+1（也称为镜像磁条）。

RAID 存储产品的市场目前发展迅速。 推动这种增长态势的因素有三个：
处理器速度的增长已超越磁盘速度的增长。这种不均衡使传统上消耗 CPU 资源较多的应用程序转变为消耗磁盘 I/O 资源较多的应用程序。为了提高应用程序的性能，必须增加磁盘 I/O 的带宽。实现此目标最常用的方法是针对该问题增加磁盘数。
小直径磁盘的阵列相对于大磁盘驱动器具有成本、功耗及性能方面的优势。
通过在阵列中存储少量的冗余信息，即可提高磁盘阵列系统的可靠性。如果没有这些冗余信息，由于组成的磁盘数较大，因此大磁盘阵列的数据可靠性会低得令人无法接受。这正是开发 RAID 的原因。
最常见的变体 RAID5 采用了分布式奇偶校验技术。数据分布于所有磁盘上，这样即可以较高的带宽读取大文件。通过分布式奇偶校验，很多随机块无需创建热磁盘就能并行写入。

另一种最常见的变体是 RAID0+1，它结合使用非冗余磁条分带技术与镜像技术。该技术的主要缺点是成本问题，这是因为磁盘的开销为 100%。

尽管 RAID5 磁盘阵列可以提高多种应用的性能和可靠性，但它们至少存在一个重大局限性：与非冗余阵列相比，当工作负载主要是少量数据写操作时，其吞吐量会下降四倍。导致这种下降的原因是少量数据写请求需要执行下列步骤：
必须读取用户目标数据的原值。
必须用新值覆盖原值。
必须读取奇偶校验数据的原值。
必须用新值覆盖奇偶校验数据的原值。
由于每次写入都要执行这四个操作，因此对于包含很多少量数据写操作的情况而言，负载尤为明显（因为 I/O 不能象数据量那样进行分摊）。

相比而言，基于 RAID0+1 的系统只是将用户数据写入两个独立的磁盘中，因此吞吐量仅下降两倍。这种差别（即少量数据写入时访问次数为四次而非两次）被称为“少量数据写问题。”

而作为数据库存储市场的一个重要组成部分，联机事务处理 (OLTP) 系统的性能很大程度上由少量数据写操作的性能决定。受此限制，很多 OLTP 系统仍在使用昂贵得多的 RAOD0+1。它需要 100% 的磁盘开销，而非大多数 RAID5 系统 20％ 的典型奇偶校验开销水平。

通过在将少量数据写入磁盘之前先将其缓冲至内存，Network Appliance 的变体 RAID4 解决了这个问题。很多次少量数据写操作被有效合并成少得多的大量数据写操作，因而避免了少量数据写问题。Dave Hitz 和 Mike Marchi 所著的存储网络设备中有关于 Network Appliance 对这一问题的解决办法的精彩论述 (http://www-cn.netapp.com/tech_library/3001.html)。NetApp 的解决方案结合了 RAID0+1 的性能优势与 RAID5 的成本优势。（事实上，NetApp RAID4 的奇偶校验开销甚至低于典型的 RAID5 解决方案 — 大约为 7% 至 14%。）本文给出的结果指出了此方法的有效性。
2.3. 存储网络
数据库存储领域的进一步发展是存储网络。历史上，它包括两个领域：NAS（网络连接的存储）和 SAN（存储区域网络）。但是，很多人认为这两个领域正在融合，这两个市场之间的区别也逐渐模糊。例如，请参阅 Michael Alvarado 和 Puneet Pandit 在 2001 年 2 月发表于“DM Review”上的“How Convergence Will End the SAN/NAS Debate”(http://www.dmreview.com/master_sponsor.cfm?NavID=193&EdID=3016)。本文中，术语“存储网络”同时涵盖了这两个领域。

存储网络是 RAID 与其他某类网络（以太网、光纤通道或是其他专用网络技术上的 TCP/IP 或 UDP/IP）的组合。网络的使用允许多个数据库服务器共享存储设备。存储网络的功能优势显而易见，而且已经在多处有过叙述。例如，下文介绍了 NetApp 存储网络在 Oracle 备份和恢复环境中的优势：Oracle9™ for UNIX&amp;:Backup and Recovery Using a NetApp Filer，作者 Jerry Liu、Sunil Mahale 及 Jeff Browning (http://www.netapp.com/tech_library/3130.html)。

NFS 上的 Network Appliance 网络存储使用以太网环境下的 TCP/IP 或 UDP/IP。在本文所述的测试中，物理层由千兆位以太网组成。
2.4. 直接访问文件系统 (DAFS)
直接访问文件系统 (DAFS) 是一种快速轻便地访问文件服务器数据的新方法。采用虚拟接口 (VI) 体系结构作为标准传输机制，DAFS 使应用程序服务器集群可以有效地共享数据，同时免除了通用操作系统引起的额外开销。

本地文件共享环境

作为网络连接文件服务器解决方案的领先提供商，Network Appliance 可以满足各种客户的需要。可以将这些需要分为两大使用系列进行说明：广域文件共享和本地文件共享。广域文件共享环境的特点是通常具有很多客户端设备，它们分散于不同的地域，受多个不同的管理员组控制。客户端设备可以运行不同的操作系统和应用软件，且通常直接向最终用户提供服务。客户端设备能访问很多不同的文件服务器，并偶尔使用其共享数据 — 例如，一个用户可以访问其他用户的文档。

本地文件共享环境的特点是只有很少的客户端设备，且通常共置于一个数据中心内。客户端设备本身通常就是应用程序服务器，能为自身的客户端设备组提供服务。应用程序服务器通常运行一组相同的操作系统和应用软件，并进行适当配置，使应用程序的最终用户只能看到单一服务。应用程序服务器通过独立的高速网络访问一小组文件服务器，并能有效共享各个数据文件。例如，在可扩展的 Web 服务中，当新用户连接服务时，每个应用程序服务器都可能会经常引用同一主页。出于几方面的原因，本地文件共享体系结构十分引人注目。首先，它们允许扩展计算能力和存储量。只需增加其他具有相同配置的计算节点，即可对计算资源进行扩展。存储的扩展可通过向文件服务器中增加更多的存储量或增加更多的文件服务器而实现。由于计算资源和存储量可进行独立地扩展和管理，因此本地文件共享体系结构还简化了管理任务。最后，本地文件共享体系结构可具有容错能力；应用程序服务器可以接管其他故障应用程序服务器的负载，而文件服务器也可通过配置来接管其他故障文件服务器的数据集。

虚拟接口体系结构

切记：正是标准远程文件访问协议的使用才允许进行数据共享，这对本地文件共享体系结构而言至关重要。另一种直接将存储连接到每个节点数据上的替代方法则需要非常专业的文件系统软件来实现可写数据的一致共享，且在任何情况下都难于管理。目前，无论是网络连接的存储还是直接连接的存储都需要操作系统支持。两者都需要大量的额外计算周期，且需要操作系统将数据从文件系统缓冲区复制到应用程序缓冲区中。通过采用一种名为 VI 的新型互连体系结构，可以消除此开销及网络协议处理所需的任何附加开销。

虚拟接口 (VI) 体系结构最初由 Compaq、Intel 和 Microsoft 开发，用作连接集群内互连的计算机的标准模式。VI 体系结构旨在为集群软件提供独立于底层网络技术的单一标准接口。VI 提供了两个基本上全新的功能，是传统互连网络中所没有的。第一个功能是直接内存至内存传输。它使得大量数据可以略过常规协议处理过程，在通信设备上已校准的缓冲区之间直接传输。第二个功能是直接应用程序访问；应用程序的处理过程可对数据传输操作进行排队，直接传输到符合 VI 标准的网络接口，无需操作系统参与。通过去除协议处理过程的开销并为设备间内存块的转移提供简单的模式，VI 体系结构提高了 CPU 的利用率，并大大降低了延迟。但是，这些改进也同样要付出代价：VI 体系结构是针对受控高速、低延迟互连网络内的通信进行的优化，而非针对通过 Internet 进行的一般 WAN 通信。 业界对 VI 体系结构的极度关注已经催生了很多不同的实现方案。规范对功能集（而非具体的物理实现）提出了强制要求，因此能够在多种互连网络上运行。目前的实现采用光纤通道及专用的互连网络。采用基于千兆位以太网（甚至万兆位以太网）或 Infiniband 的 TCP/IP 的实现方案正在开发中。尽管细节不同，但 VI 实现方案确实共享了很多性能方面的详细资料。VI 主机适配器采用硬件执行所有消息分解、组装和校准，并允许数据在虚拟内存的应用程序缓冲区之间直接传输。

符合 VI 标准的互连网络允许使用新的文件访问模式： 直接访问文件系统 (DAFS) 是一种使用底层 VI 功能对共享的文件服务器提供直接应用程序访问的协议。它针对高吞吐量、低延迟通信以及本地文件共享体系结构的要求进行了优化。

DAFS 将用作文件访问库，可以链接到本地文件共享应用程序上。DAFS 库反过来也需要 VI 供应商的库实现，后者应适用于选定的、符合 VI 标准的互连。应用程序一旦修改为与 DAFS 相链接，其数据存储需求就会独立于底层操作系统。

直接访问文件系统提供了一种新的共享数据访问模式，其功能超越了目前的网络连接存储、直接连接存储及光纤通道 SAN 体系结构。DAFS 是专为提高本地文件共享体系结构而设计的，而这反过来又使平台能根据低成本的常用服务器硬件来部署可扩展且可靠的服务。
3. 测试说明
在所有存储网络配置（NFS 和 DDA）中，我们使用了相同的磁盘控制器、磁盘支架及磁盘。存储网络配置的主要差别在于网络控制器。在 NFS 配置中使用的是支持 Jumbo 帧的千兆位以太网控制器，即 SysKonnect 9843。在 DDA 配置中使用的则是 Emulex VI 控制器。在 RAID1+0 配置中，将 FC4700 的磁轴数设置为与其他配置中的 FC 磁轴数相同。此外，所有组件都是目前所能获得的最新组件。同时，所有测试中都使用了相同的数据库服务器，设置也几乎完全相同。在设置不同的地方，已对此进行了更改，以便在两种测试台上都能获得最佳的效果。本文后面的技术细节部分将提供这些设置。下列网络图概述了所用的三种主要配置。







测试基准模拟用户输入五个不同事务的随机组合。这些事务模拟了简单但完整的订单条目和订单实施过程。事务由 Oracle9I 关系数据库进行处理，该数据库中包含了大约 30,000,000 个客户帐户、100,000 个不同的零件号及 1,000 个仓库的记录。尽管测试基准很简单，但能生成大多数订单记录系统的典型负载。主要特征是每个事务都消耗大量的 CPU 时间且 I/O 负载强度高：其中混合了连续 I/O 及关键性能恢复日志与随机读写访问操作。更完整的测试基准规范集可以通过 Network Appliance 销售代表获得。
4. 测试结果
4.1. 标准声明
下表重述了这些测试的结果：

标准 JBOD DDA NFS
Jumbo FC4700
RAID1+0
Raw FC4700
RAID1+0
Vxfs QIO
平均响应
时间（秒） .12 .12 .15 .15 .16
已用磁盘容量 13% 16% 16% 26% 44%
磁盘访问时间（毫秒） 18 9 11 18 16
磁盘卷创建 3.5 小时 < 2 分钟 < 2 分钟 4 小时 4 小时
单位时间间隔的事务数 47,895 48,215 39,123 38,235 38,569


4.2. 标准解释
4.2.1. 平均响应时间
该标准是指完成事务所需的秒数。值越小越好。通常认为合理的响应时间是 2 至 3 秒。响应时间少于 1 秒的属于异常。
4.2.2. 已用磁盘容量
这是数据库当前所用的磁盘空间量，分布于配置中使用的三个卷上。值越小表示有更多的空间可供将来扩展用。
4.2.3. 磁盘访问时间
这是磁盘响应 I/O 请求所需的时间量（以毫秒计）。值越大表示磁盘组的响应速度越慢，从而会增加最终用户的平均响应时间。较小的值则恰好相反：磁盘访问速度更快，事务响应时间更短。这对最终用户是有利的。
4.2.4. 磁盘卷创建
磁盘卷的创建标准是创建全功能磁盘 RAID 组并使之联机所需的时间量。该时间包括输入并执行创建有疑问的磁盘 RAID 组卷时所需命令的时间，以及使磁盘 RAID 组卷处于准备接受数据的状态的时间。
4.2.5. 单位时间间隔的事务数
这是测量时间间隔内完成的 OLTP 事务数。测试基准的每个运行回次间隔 10 分钟。此处列出的结果是 5 分钟事务时间的平均结果。
5. 技术细节
本部分详细说明该测试基准比较过程的具体细节。
5.1. 数据库服务器
数据库服务器为 Fujitsu GP7000F，型号为 400R。该设备为四路 296MHz SPARC 系统，配备 4GB 的物理内存。该系统运行具有下列补丁程序的 Solaris8 操作系统：
内核补丁程序，级别 108528-11
109524-06
110383-02
111293-03
在 JBOD 配置中，数据库服务器使用 Qlogic 2200 光纤通道控制器将系统直接连接至磁盘。测试中使用的磁盘支架为 Eurologic FC9。Eurologic 支架中的磁盘为 Seagate 18GB Cheetah 磁盘。同样，F840 Filer 使用 Qlogic 2200 光纤通道控制器连接到磁盘支架上。存储网络配置（NFS 和 DDA）中使用的磁盘支架是 DS14。磁盘也是 Seagate 18GB Cheetah 磁盘。这两种环境中的磁盘配置相同。NFS 和 DDA 配置中的主要差别在于网络技术和控制器，分别是千兆位以太网和 VI。

在硬件 RAID 配置中，Qlogic 2200 光纤通道控制器通过交换机光纤点对点配置中的 Brocade 光纤通道交换机连接至 EMC FC4700。

下面是数据库服务器的 /etc/system 文件中使用的参数：



* Begin Oracle specific changes
* Semaphores
*-------------------
set shmsys:shminfo_shmmax=8589934592
set shmsys:shminfo_shmmin=1
set shmsys:shminfo_shmmni=900
set shmsys:shminfo_shmseg=300

set semsys:seminfo_semmap=600
set semsys:seminfo_semmni=1000
set semsys:seminfo_semmns=1400
set semsys:seminfo_semmnu=800
set semsys:seminfo_semume=400
set semsys:seminfo_semmsl=1400
set semsys:seminfo_semopm=400

*--------------------
* Message Queue
*--------------------
set msgsys:msginfo_msgmap=1024
set msgsys:msginfo_msgmax=65535
set msgsys:msginfo_msgmnb=65535
set msgsys:msginfo_msgmni=1024
set msgsys:msginfo_msgssz=2048
set msgsys:msginfo_msgtql=1024
* End Oracle specific changes
*
*Increases the size of STREAMS synchronization
set sq_max_size = 1600
*
set maxusers = 2048
set nfs:nfs3_max_threads = 48
set nfs:nfs3_nra = 10
* vxvm_START (do not remove)
forceload:drv/vxdmp
forceload:drv/vxio
forceload:drv/vxspec
* vxvm_END (do not remove)

* vxfs_START -- do not remove the following lines:
*
* VxFS requires a stack size greater than the default 8K.
* The following values allow the kernel stack size
* for all threads to be increased to 16K.
* set lwp_default_stksize=0x4000 set rpcmod:svc_run_stksize=0x4000
* vxfs_END

在 /etc/rc2.d 目录下放置了一个名为 S99netperf 的脚本，
用于配置各种网络参数。该脚本将在重新启动时予以执行，
其内容如下所示：

case "$1" in
            'start')
                  echo "Setting local kernel parameters...\c"
                  ndd -set /dev/udp udp_recv_hiwat 65535
                  ndd -set /dev/udp udp_xmit_hiwat 65535
                  ndd -set /dev/tcp tcp_recv_hiwat 65535
                  ndd -set /dev/tcp tcp_xmit_hiwat 65535
                  ndd -set /dev/ge instance 0
                  ndd -set /dev/ge adv_pauseTX 1
                  ndd -set /dev/ge adv_1000autoneg_cap 1
                  ndd -set /dev/ge adv_1000fdx_cap 1
                  echo " "
                  ;;

               'stop')

                     echo "$0:No parameters changed."
     ;;
                *)
                     echo "Usage0 (start|stop)"
                     ;;

                esac
                exit 0
5.1.1. NFS 安装选项
下面是 NFS 测试所用的文件系统安装选项的示例。请注意 forcedirectio 的使用。对于 Solaris8 而言，此安装选项对于数据库的性能非常重要。 实际上，直接 I/O 将略过 Solaris 文件系统缓存。因此，从磁盘中读入数据块时，数据块将被直接读入数据库缓冲区的缓存中，而非文件系统的缓存。如果没有直接 I/O，数据块就会被读入文件系统缓存中，然后再读入数据库缓冲区的缓存。这实际上是重复数据的缓冲，而数据库服务器并不访问文件系统的缓存。这会在环境交换机中导致大量开销，并会增加系统 CPU 的使用，从而导致数据库性能下降。应注意：直接 I/O 只应在包含数据库文件的安装点上使用。不应将直接 I/O 用于非数据库文件、可执行文件等，也不应该用于正常的文件 I/O 操作，例如“dd”。正常的文件 I/O 操作应使用系统级上的缓存。

filer:/vol/vol1 - /mnt/datavol1 nfs - yes rw,bg,hard,intr,proto=udp, vers=3,rsize=32768,wsize=32768,forcedirectio
5.2. Oracle 设置
所有测试中使用的都是 Oracle 9.0.1.0.0 for Solaris（32 位）。对于大部分组件而言，所有测试也都使用了相同的初始化参数。下文列出几个例外情况。
5.2.1. 常规设置
_db_file_noncontig_mblock_read_count = 1
_db_writer_max_writes = 640
_db_writer_chunk_writes = 100
_spin_count = 3000
compatible = 9.0.1.0.0
control_files = $ctrl/ctrl_1,$ctrl/ctrl_2
cursor_space_for_time = TRUE
db_block_buffers = 920000
db_block_size = 4096
db_files = 2000
db_file_multiblock_read_count = 1
db_name = oltp
distributed_transactions = 0
dml_locks = 200
enqueue_resources = 2000
hash_area_size = 0
hash_join_enabled = false
java_pool_size = 4k
lock_sga = false
log_buffer = 1048576
log_checkpoint_interval = 0
log_checkpoints_to_alert = true
max_rollback_segments = 400
open_cursors = 80
open_links = 1
parallel_automatic_tuning = false
parallel_execution_message_size = 4096
parallel_max_servers = 40
parallel_min_servers = 0
parallel_threads_per_cpu = 8
pre_page_sga = true
processes = 225
recovery_parallelism = 40
replication_dependency_tracking = false
session_cached_cursors = 40
sessions = 225
shared_pool_size = 42000000
sort_area_size = 8192
timed_statistics = true
transactions = 275
transaction_auditing = false
transactions_per_rollback_segment = 1

5.2.2. NetApp 存储网络
Sun 为文件系统实现的 ASYNC_IO 中使用了大量轻型进程 (LWP)。在测试环境中，我们发现这些 LWP 的内核开销大于 Oracle 因使用多个数据库写入程序 (DBWR) 而产生的开销。因此，我们禁用了 Solaris 上安装了 NFS 的数据库的 DISK_ASYNC_IO 选项。

disk_async_io = false
db_writer_processes = 4
5.2.3. 硬件 RAID
异步 I/O 允许 Oracle DBWR 进程调度多个 I/O，而无需等待 I/O 完成。I/O 结束时，内核将利用中断来通知 DBWR。启用下列参数后，Oracle 可以利用异步 I/O 的优势，且无须配置多个 DBWR 进程：

disk_async_io = true
db_writer_processes = 1
5.3. 网络设置
在软件 RAID 测试过程中，对于 JBOD 无须进行网络连接，这是因为所有测试都是在数据库服务器上进行的。但是，在存储网络测试过程中，Filer 和数据库服务器之间需要网络连接。

利用 FC4700 进行硬件 RAID 测试时，数据库服务器与 FC4700 之间是通过数据库服务器上的 Qlogic 光纤通道控制器及交换机光纤点对点配置中的 Brocade 光纤通道交换机相连的。

对于 NFS，数据库服务器与 F840 Filer 之间是通过每个系统中的一个千兆位以太网控制器直接连接的。为启用数据库服务器上的 jumbo 帧支持，我们使用了 SysKonnect 9843 控制器。在 Filer 上，千兆位以太网控制器支持 jumbo 帧。

对于 DDA 测试，数据库服务器与 F840 Filer 之间是通过每个系统中的一个 Emulex/VI 控制器直接连接的。
5.4. 磁盘/卷设置
5.4.1. NetApp 存储网络
Filer 使用了一个 Qlogic FC-AL 控制器来连接与之相连的 42 个磁盘。随后，我们利用如下的示例命令将其配置到卷中：

vol create oltpnfs1 -r 14 -d 7.0 7.1 7.2 7.3 7.4 7.5 7.6 7.8 7.9 7.10 7.11 7.12 7.13 7.14

vol create oltpnfs2 -r 14 -d 7.16 7.17 7.18 7.19 7.20 7.21 7.22 7.24 7.25 7.26 7.27 7.28 7.29 7.30

vol create oltpnfs3 -r 14 -d 7.32 7.33 7.34 7.35 7.36 7.37 7.38 7.40 7.41 7.42 7.43 7.44 7.45 7.46

此时会设置下列卷选项：


vol options oltpnfs1 minra on
vol options oltpnfs2 minra on
vol options oltpnfs3 minra on
vol options oltpnfs1 nosnap on
vol options oltpnfs2 nosnap on
vol options oltpnfs3 nosnap on
vol options oltpnfs1 nosnapdir on
vol options oltpnfs2 nosnapdir on
vol options oltpnfs3 nosnapdir on
vol options oltpnfs1 no_atime_update on
vol options oltpnfs2 no_atime_update on
vol options oltpnfs3 no_atime_update on

5.4.2. 硬件 RAID
FC4700 上生成了三个由单个 LUN 组成的 Raid 组。在 RAID1+0 配置中，每个 LUN 包含 14 个磁盘。

为了创建 RAID1+0 LUN，我们镜像了一个 FC-AL 环路上的 7 个磁盘，并按磁条分配到另一个 FCAL 环上的 7 个磁盘中。此过程还要重复两次，直至配置完所有的 42 个磁盘。最终的结果是三个 RAID1+0 LUN。

这些配置赋予每个磁盘群三个安装点，通过它们可以建立数据库。所有的 Oracle 表空间文件都均匀地分布在三个安装点上。
5.5. 缓存配置
5.5.1. CLARiiON FC4700
FC4700 有两个存储处理器 (SP)。除了其他一些功能外，SP 还控制着对 FC 磁盘的访问。每个 SP 有 904MB 的缓存。在 904MB 的缓存中，56MB 配置为读缓存，756MB 配置为写缓存。
5.6. 直接访问文件系统 (DAFS) 数据库加速器 (DDA) 设置
5.6.1. 服务器端
DDA 服务器的配置已超出本报告的范畴。BR>;
有关管理 DAFS 服务器的信息，请参阅 Data ONTAP™ 6.2 系统管理员指南中的“使用 DAFS 进行文件访问”。您可以从 NetApp 的 Web (NOW) 站点获得该指南，URL 如下所示：http://now.netapp.com/

此处包含 Filer 上所用的 DAFS 选项列表。

在 Filer 提示符下发出 options dafs 命令即可获得此列表。


dafs.auth_none.enable on
dafs.checksums.enable off
dafs.default_gid 100
dafs.default_uid 100
dafs.enable on
dafs.idle_timeout 7200
dafs.max_disconnected_sessions 32
dafs.max_pending_requests_server 512
dafs.max_request_size 69632
dafs.max_requests 50
dafs.max_requests_server 1024
dafs.max_response_size 69632
dafs.num_requestd 2

5.6.2. 客户端
DDA 的安装和配置过程已超出本报告的范畴。

您可以从 NetApp 的 Web (NOW) 站点获得 DDA 文档，URL 如下所示：http://now.netapp.com/

此处包含的是位于 /usr/kernel/drv 的示例文件 ddafs.conf。

除了默认设置外，还要求增加最后一行，用于将每个 DAFS 服务器的文件数从 200 增加到 1,024。


#ident "@(#)ddafs.conf 1.2 93/09/09"

# ddafs is a pseudo driver, hence there is only one instance

name="ddafs" parent="pseudo" instance=0;

max_nics=4;
max_number_of_servers=8;

# This is the max nReq, i.e., the maximum number of dafs operations
# that will be outstanding on one connection at any time. This value
# might also be reduced by the DAFS server.
max_dafs_requests=80;

# Provider name strings - the following name must match the driver
# module names that are reported by the Solaris `modinfo' command. In
# the order specified, dDAFS will search for and use the following
# loadable driver modules with its Kernel VI Providers interface.
#
pnames="orvi";

# ddafs cache enable: turn on/off the ddafs driver cache. Enabling
# this cache will enhance performance in the io data path by optimizing
# IOMMU loads and unloads (aka enabling dvma). Default is enabled.
ddafs_cache_enable=1;

# Oracle DB has several files
max_rawfs_per_svr=1024;