有关存储一些问题的开放讨论

asyqm

很多时候，用户所购买的多块盘并不能无法同时发挥性能，首先，对于后端为FC环路的中端设备来说，假设有8个环路，那么理论上，同时最大只有8个盘在工作。那么对于中端设备来说，很难应对用户突发的高带宽需求。那么要么，多台阵列同时运行，配合多路径，配合文件系统的条带化处理，要么要采用高端的路径多多的高端阵列。同时要配置甚至高达几百块盘的规模，才有可能达到非常好的效果。这种测试，一般的厂商很难给你提供一个OK的测试环境去做，因为多数测试设备上的盘很少，不利于性能发挥，另外很多用户出于容量考虑，把每个盘都用的很满，这样会造成多个LUN对硬盘的竞争。这个性能的调优非常重要，甚至可能要冒着非常浪费的情况去做。例如SPC-1的报告，可以看看，基本都只用了一半不到的容量去跑性能。每个LUN只有33G大小，为的就是性能调优，尽量将负载均衡开，同时发挥每个硬盘的性能。

如果你有这个规模的应用需求，想来也不会是太低端的用户，可以跟卫星资源应用中心，国家气象局，中科院等沟通一下，他们都有较大规模的数据应用。

至于缓存，看在什么级别的产品上了。模块化产品本身的开销并不小，而且缓存容量有限，作用远远低于高端上动辄上百GB的缓存。

asyqm

原帖由 liaoboda 于 2008-9-11 12:12 发表

很高端的EMC的存储我叫他们提供过存储的测试好像是C900（型号可能有点错）嘻嘻，但是他们说这个国内可能没有货。这个我没发言权，如果CU上边谁在用的，可以测试下，本机cp个几百G的东西。看看时间就可以了。我 ...

google他们的数据分布不是集中式分布，因此他们可以用造价很低的分布方式，甚至所有的都是放在PC服务器的本地盘上。
但是看您这边的数据应该是集中式存储，这样的话，恐怕您只能买EMC/HDS这种级别的存储，而且得买不少台高端，最多每台买半配的硬盘数。聚合到一起来用。。。

liaoboda

原帖由 liaoboda 于 2008-9-11 12:12 发表

很高端的EMC的存储我叫他们提供过存储的测试好像是C900（型号可能有点错）嘻嘻，但是他们说这个国内可能没有货。这个我没发言权，如果CU上边谁在用的，可以测试下，本机cp个几百G的东西。看看时间就可以了。我 ...

呵呵 另外随便问问你，你们netapp现在nas 最低大概能做到多少钱一个T？

liaoboda

原帖由 asyqm 于 2008-9-11 12:16 发表
很多时候，用户所购买的多块盘并不能无法同时发挥性能，首先，对于后端为FC环路的中端设备来说，假设有8个环路，那么理论上，同时最大只有8个盘在工作。那么对于中端设备来说，很难应对用户突发的高带宽需求。那 ...

国家气象局有一套EMC的存储 他们那个管这个和我们抱怨说 现在根本用不了。

liaoboda

原帖由 asyqm 于 2008-9-11 12:16 发表
很多时候，用户所购买的多块盘并不能无法同时发挥性能，首先，对于后端为FC环路的中端设备来说，假设有8个环路，那么理论上，同时最大只有8个盘在工作。那么对于中端设备来说，很难应对用户突发的高带宽需求。那 ...

中科院 那个所？计算所 他们自己来我们这里找课题。

asyqm

原帖由 liaoboda 于 2008-9-11 12:20 发表

国家气象局有一套EMC的存储 他们那个管这个和我们抱怨说 现在根本用不了。

气象局有2套HDS的USP满配，这是全国少有的满配的USP1100，每台配置了1152块硬盘，你可以问问他们使用情况如何。

asyqm

原帖由 liaoboda 于 2008-9-11 12:21 发表

中科院 那个所？计算所 他们自己来我们这里找课题。

具体哪个所不知道，现在在搞高性能运算的那个部门，现在在用2套HDS的USP V高端存储。目前在部署阶段。如果你方便，建议可以全程跟踪一下。

liaoboda

原帖由 asyqm 于 2008-9-11 12:18 发表

google他们的数据分布不是集中式分布，因此他们可以用造价很低的分布方式，甚至所有的都是放在PC服务器的本地盘上。
但是看您这边的数据应该是集中式存储，这样的话，恐怕您只能买EMC/HDS这种级别的存储，而 ...

必须分布式的，一天目前的数据量产生就是10T，存一次，读一次，写一次就30T读写。还不算其他的。你算下每秒多少？另外这个量还有可能翻倍。

liaoboda

原帖由 asyqm 于 2008-9-11 12:23 发表

具体哪个所不知道，现在在搞高性能运算的那个部门，现在在用2套HDS的USP V高端存储。目前在部署阶段。如果你方便，建议可以全程跟踪一下。

是曙光5000吗？曹正南他们那个部门？我想去看看

asyqm

原帖由 liaoboda 于 2008-9-11 12:26 发表

是曙光5000吗？曹正南他们那个部门？我想去看看

具体的不清楚，我也是听同事提起来关于实施的事情。好像是上千个IBM的计算节点搭配2套HDS高端