这样的需求是否合适使用集群完成

goodman

某单位要建数据处理平台。数据量目前估算为3-4T（全量），每天还要从其他系统取得20G的增量数据。
数据处理有时间窗口要求。
方案一是采用20台PCServer实现集群。目前有两个问题，一是关于共享存储的问题，因为业务数据无法严格的切分到20台PC上，而且业务逻辑也有互相交叉的，但是如果使用共享存储，则投资比较高。目前无法实现跨机的数据交换（还是通过网络，比较慢）。问题二，是20台机器如何保证高可用性的问题，因为尽管不是交易平台，但是也有时间窗口的限制，而多机运行的稳定性和安全性不能得到保证的问题。也曾经想过要两两做HA，但是仍然感觉可靠性不高。
方案二是采用两台P690做HA，但是投资比较高，超出预算了，如果配置低的话，根据目前的估算很难按时完成处理要求。
请各位帮助出出主义，是否有其他的解决方案？

nntp

hello goodman,

1. 3-4T的总量的规模，不算大的。我看你们的规划方向和规划尺度都有了比较大的偏差.

2. 先忘掉那20台服务器的事情，那个方向是错误的.

3. 规划应该先定节点，后定存储. 先把应用的拓扑搞出来再说吧，看你的描述好想规划人员对整体的应用状况概念很模糊的样子.

4. 3-4T的应用规模，用不到690.  现在市面上竞争激烈，技术层出不穷，一个中等的小SAN系统，就对付得了了.

5. 有一点要清楚，集群技术是一种妥协的技术，因为我们无法在一个很高的可用性的要求下，使用单一的设备完成计算，所以“不得已“才会去考虑集群。
所以规划系统的时候，能够用一台设备加上完备的冗余部件和软件上的充分保护，就不要用2台。能够用2台设备做集群的，就不要扩展到3台以上，这个是一个原则。
原因很简单，增加一个设备节点，整体可靠性，软件管理性，实时控制和把握，容灾和灾难后恢复的复杂性和代价都非常大.

那些已经采用多节点集群来保护业务可用性的企业和用户，并非是努力要去那样做，而是单一系统上的设计保护已经无法满足他们的业务可用性要求才妥协成那样的.


因为现在你的项目需求和调研还没有做到位，所以我无法给你太多有价值的建议。就简单说一下业务系统的选择.

有充沛的资金完全不等于能够作出一套正常工作，没有太多后患的系统。我看到的 用户中的“大户“搞砸掉大项目的反面例子多的很。

依照目前的趋势来看，我觉得对于绝大多数数据库驱动或3层(含应用服务器)的常规业务.(指非科学计算，研究，国防等) 采用AMD64结构的设备会给你带来非常明显的优势.

如果真的有钱，可以考虑购买 AMD64 Opteron 4 way dual core的系统，相比Intel 的EM64T dual core，对于常规业务，特别是数据库和java 应用服务器驱动的业务性能表现上要好很多.

使用p690之类的，也纯粹是玩笑话，买的起机器不代表这个客户可以忍受专有平台上长年的软件费用和服务费用，以及快速折旧的硬件设备投资.

我做过一个大家都知道的保险公司的项目,  3台 AMD64 Opteron 4 way DC, 每台 32GB memory,后面做了一个中型的SAN,(其实很小).  3点集群跑Linux, 就可以撑起来中国沿海发达城市的保险业务了，数据量比3-4T大得多的多。用户还是很满意的，这样的投资性价比，非常理想. 3台这样的设备加SAN和1台p690+软件+服务。不能比的.

仅供参考.

[ 本帖最后由 nntp 于 2006-3-19 07:03 编辑 ]

shimu

1.用20台服务器，必须能保证你的应用能够很好的分摊，否则不可能应用。
2.p690的价格和一般的p系列服务器价格不可以比的，考虑到性价比可以用sun的啊。。
3.SAN价格是趋势，不管前台怎么做，都推荐。。

super939

哇,这么多东西

goodman

感谢nntp和shimu给予的答复!
你们的答复使我明白,应该先分析当前的具体应用,再去考虑如何的规划!

ljc6386613

哇!!.nntp太强了。。不能说学到了，应该是了解了不少东西。。。

期待goodman的规划 。。

hibody

说的太到位了。顶。学习中。

[ 本帖最后由 hibody 于 2006-5-21 05:50 编辑 ]

sunmoonsea

版主的经验和思路的确是非常值得我们学习的

xintao800

我有一个不错的方按和大家分享。楼主可以用光纤柜（解决存储共享问题）+双机集群软件（实现24*7小时不停机）+f5(负载均衡）=问题就解决了。如果考虑光纤柜价格较高，可以考虑 用SATA硬盘的，容量既扩大了，有节省了费用。我大概算了一下：光纤柜+双机集群软件+f5(负载均衡=三十几万，还是蛮合适的，光纤柜的配置你看看附件。

[ 本帖最后由 xintao800 于 2006-6-1 18:09 编辑 ]

gl00ad

push up, someone interested?