想清楚明白自己的需求，共享还是并行文件系统？

baif

楼主的图不错，请问用什么做的？

hjz

LZ的带宽需要太大了，一台CX380无论如何是不够的。给你谈谈我们刚完成的一个项目，作为参考。
我们的server有30台，主要是双CPU的PC SERVER，还有几十台PC工作站。每台SERVER的稳定读写带宽最高要求25MB/S，即200Mb/S，总带宽800MB/S。主存用一台CX380或两台IBM4800，容量20T，选择146GB的FC硬盘190块，RAID5。还增设一台CX340或一台IBM4800，装30块500GB的SATA盘作备用存储。选择IBM的GPFS软件，用两台IBM的P550作为GPFS节点，每台安装3块4Gb的FC卡和六张1Gb的以太网卡。一台CISCO的4507R作为核心交换机，若干台3750G千兆交换机用于接入。

uwave

仍旧不清楚楼主到底要做什么具体应用，每个关键环节有什么技术指标，大家只能盲人摸象。有一点可以肯定，楼主的关键在于存贮技术，建议到专业存贮论坛dostor咨询。
对于楼主使用一台emc cx 80深表怀疑，楼主有没有认真测算过系统最终对存贮设备性能需求数字？真实存贮性能要以iops衡量，这与磁盘数目、数据包大小、存贮控制器性能、通道带宽密切相关，每一块scsi磁盘每秒最多100次io左右，大容量数据读写首先要转换成多少块盘同时读写，存贮是否可支持这么多块盘，每个loop挂满盘是否影响性能，每io数据包多少大小（随着数据包增大，存贮iops性能急剧下降，厂家iops性能标称数字都是读cache 小包性能，无实际意义，而且公然造假，比如emc cx内部数据大大小于公布数字），raid格式（raid5肯定可以使用到严格生产环境，只有银行、电信这些豪门轻松使用raid1）。另已使用多台575，怎么使用emc cx这种烂货（控制器是window＋intel，居然会中毒）？
具体到文件系统选择，若做高性能科学计算估计得选并行文件系统。对于复杂系统，分而治之，化繁为简。
楼主买了ibm小机，可以方便向ibm咨询。

nntp

其实你可能走进了一个解决问题误区。

你重新整理出的问题的确非常有清楚，但是有一个问题建议你明白，所有的性能估算，都是依赖于已经存在的实际测试结果的，世界上不存在一种计算和判断方法，可以不用作子单元的测试，就可以估算出系统的整体性能指标的. 所以当你在这里发第一个帖子的时候，注定了你肯定不会在这里找到有价值的答案和参考，因为我相信这里没有一个人曾经做过和你列出的应用环境一样的项目。这个讨论线索发展到现在的真实意义在于通过讨论让你自己更清楚地了解自己面对的问题的轮廓和细节到底是怎样。

我仔细的看了你的问题并考虑了一下，我认为可以给你两种答案:

1) 精确的，负责任的说: 一台盘阵是否能够满足这样的应用在带宽上的需求，我找不到答案。我认为这个项目也是不小的一个项目了，需要在项目构建初期作POC，你们要和原厂商沟通好，让他们送测试平台过来，采用子单元测试的评估方法，列出整个方案中对性能影响最大的几个metrics, 然后对子单元进行性能测试，通过观察线性/非线性的性能变动，为整体的性能估算建立判断依据

2) 模糊的，不负责任的说: 按照我个人的经验，一台中档的盘阵，无法满足这样的带宽。并且你采用ADIC的SNFS+2/3 meta server的技术依据是什么？这些依据站得住脚么？还是只是某些厂商售前部门的一面之词?

nntp

原帖由 soway 于 2007-1-5 21:13 发表
我记得netapp的nas是支持nfs上做oracle数据库的，不过估计性能不咋的。
毕竟通过nfs的direct IO了

不过我倒是认为可以用netapp的高端nas来做。

Netapp的高端NAS和传统的NAS系统结构有所不同.

nntp

原帖由 SUNfan 于 2007-1-5 09:17 发表
建议数据库文件不要放在NFS上，直接使用裸设备方式安装数据库；共享存储的文件放在NFS上

嘿嘿， 野路子做法.

看过 Oracle 2005在日本做的那套 128 node Sun blade  + NFS的 Oracle RAC cluster么? 知道Oracle的实施工程师怎么评价RAC+ NFS么?
有OLS账号的话，把那个实施的ppt还有现场的public benchmark的doc拉下来看看.   Oracle RAC + NFS也就实验室里面自己动手玩，或者像日本Oracle那样做Demo show了.