数据挖掘：小机专家集成系统VS大规模x86集群 孰胜孰劣？（获奖名单已公布-8-23）

Mysql2009

个人认为，两个系统差别还是挺大的，小机的专家系统，ibm的也好，oracle的也好，还是sap的也好，都是有特定的商业场景的

x86的集群则要简单的多，更加适合互联网行业的简单需求分析，但是运算量则比前者高一个量级。

mike79

搬20块50公斤的石头，你可以找20个民工过来，每人搬一块。也可以找吊车过来，一下子就把这1吨的石头都搬走。哪个划算？估计还是找民工划算些。
但是如果要搬1吨的整块石头，不许砸碎碰坏了。石头不大，最多也就能让两三个人一起搬。这时你哪怕找100个民工过来也没用，除了那两三个人之外其他的人都使不上力,你就只能上吊车了。

民工就好比x86集群，吊车就是小型机。如果你的业务是OLTP类型的，瓶颈在于对数据库的密集访问，x86集群的横向扩展没啥用。

叫嚣着x86集群取代一切的，往往都是程序员，尤其是做web开发的。他们看到的就是一台机器性能不够，再加一台分担负载就行。他们不考虑数据库层面的负载，sql语句跑得慢？让dba来优化就行了。

PS 当然bj大神是例外，他只要意念一转，就无所不成。

brein

先看下标题吧： “数据挖掘：小机专家集成系统VS大规模x86集群 孰胜孰劣？”
首先把我看到这个标题后的问题和一些想法聊聊，大家拍砖啊。
--第1个问题：什么是数据挖掘呢？
  个人理解：把海量的数据集中到一起，通过数学方法从这一大堆数据中获取到挖掘者需要的东西。
            这个海量数据的场景简单分析一下：
               互联网上多是用户上网，上哪个网站，在网站上停留多久......数据特征可能比较单一。
               传统行业：数据会有各种维度，会有很多数据库层面的关联操作

--第2个问题：小机专家集成系统？
  是不是就是小机硬件+数据库的集合体哇？比如oracle和ibm的一体机......
   个人的看法：这种东西实在是好，实在是够强大，但也实在是贵，而且技术门槛高。
              不开源中国人还是很难搞出来的。

--第3个问题：大规模x86集群？
  这是什么哦？是不是就是所谓的分布式计算呢？如果是的话，google、facebook、yahoo、taobao都已经证明了他的优秀了
  个人的看法：这东西是好东西，属于大数据处理上的方向，但是应用场景目前仅限于互联网行业或者数据特征类似于互联网的其他场景。
                                          
那搞完这3个问题，该讨论呢孰优孰劣了。

--从方向上来看，大规模x86集群我认为要优于小机专家系统，但是x86集群技术的成熟性还远远不够，应用面还比较窄，想取代小机专家系统擅长的领域，现在来看尚属扯淡。
--从成本来看，不见的x86集群就比小机专家系统便宜，例子就不举了。
--从维护上来看，目前x86集群的维护力量与质量根本不能和小机专家系统在一个级别上。
--从稳定性、可靠性、可用性角度讲，x86集群也要落后于小机专家系统。
--从扩展性角度讲，当然是x86集群牛逼，分布式嘛。

所以我认为现阶段小机专家系统要好于x86集群，原因很简单：小机专家技术成熟，而且现在处理的数据量还没有到小机专家系统不能承受的时候。

如果你有钱那么选小机专家系统吧。
如果你需要技术创新，那么x86集群是不二选择。

总结：现阶段我支持小机专家系统。将来（10年后）我支持x86集群。

InfoSVC

先说海量数据吧,
一般情况下数据分结构性数据,和非结构或半结构性数据
结构性数据在一定数量级下,oracle还是可以处理的,效率,性能等个方面还不错,但是一旦到海量,这就不是oracle的强项了,DB2应该在这点上要比oracle强
而非结构或半结构性数据历来都不是oracle数据库的强项,需要的是所谓的分布式来处理,这个从我接触到的行业来看,无论是互联网还是金融类或者运营商,都已经开始或者已经向分布式来转向了,当然这个也可能和oracle本身的成本有关系

如果基于海量数据来进行分析
那么小机和x86的集群的优点和缺点就不言而喻了,
小机+数据库这种模式肯定存在扩展性不好,成本高,且维护成本高,至于维护品质嘛,出了那么多钱,就该享受这个服务
而x86集群相对的扩展性更好(系统,硬件各个方式都更为开放),成本低,维护成本相对也不较低,至于维护品质,我觉得就和现在坛子里学习linux的人越来越多,相对的技术群体会越来越大,维护的力量也就会越强

从稳定性上讲,我觉得小机平台单机的稳定性肯定是高于x86平台的,但是如果出现集群,我相信在最初做设计的时候,x86平台的集群肯定是考虑很多方面的冗余性,就譬如海量的web应用,随便坏了一台x86,对整体基本没有啥影响,那么集群整体的稳定性不见的比小机平台高.

最后说说这个小机专家集成,老实说我没有看懂,但是如果按照brein所说的是ibm小机+oracle这种模式,我觉得不是未来的方向,这个从oracle研发linux并推出exadata也是基于x86平台的就可以看出

当然小机+oracle模式在基于oltp系统上的竞争性还是要比x86集群高很多的

hbsycw

[高级应用] 数据挖掘：小机专家集成系统VS大规模x86集群 孰胜孰劣？

很好的讨论话题，是一个技术架构取舍的问题，适合各位大牛和技术控深入探讨。本人的见解和观点如下，抛砖引玉：

一 什么是数据挖掘（DM，Data Mining）
    其实简单讲，就是通过大规模的数据处理（涉及各种算法，数学模型比较多~），从中找到某种关联或者特征，从而发现知识和规律，从而对实践起预测或者规划指导作用的一种高级数据处理技术。
二 系统架构取舍
    显然，这是一种计算+存储密集型的应用，也就是对系统的整体吞吐量要求比较高。那么对于这样一个系统的搭建，直观的想法，当然是高性能的计算机啦，作为可行的解决方案，小机专家集成系统是一种解决方案；同时，并行处理技术的发展，使大规模x86集群也是一种可行的方案。那么，对于这两种系统架构，该如何取舍呢？首先，从系统的可扩展性来讲，大规模x86集群是一种Scale Out（  水平伸缩） 架构，可扩展性自然优于小机专家集成系统 Scale Up（垂直伸缩），我们应该认识到，对于DM(数据挖掘)这样的应用，其需要的计算能力是和问题域，也就是要处理的数据量的大小有关的，也就是说，其，应用的本质，需要一种较为灵活的架构，以满足不断增长的数据。这种趋势，也就是现在流行的Big Data概念, Hadoop 的成功和流行也说明了这一点；其次，从成本和可维护性来讲，在我做技术决策时，我一直有种观点，“业务应用看需求，技术架构看成本”。显然，小机的投入成本是昂贵的，运维是需要专人服务的，相对日益价廉的PC Server，如果能用几台x86集群就能达到同样的计算能力，而运维成本也可控的情况下。哪为什么不用这种方案呢？
三 小结
   数据挖掘，是用小机专家集成系统 还是 大规模x86集群架构，这个第一，看你的业务需要，第二，看你差不差钱，孰胜孰劣，就仁者见仁智者见智了，欢迎拍砖~


另，这里和大家分享一个有趣的观点，来自《Hadoop权威指南》：

古代，人们用牛来拉重物。当一头牛拉不动一根原木时，他们不曾想培育更大更壮的牛。同样，我们也不需要尝试开发超级计算机，而应试着结合使用更多计算机。

--Grace Hopper

PS: 关于Grace Hopper，这是一个伟大的女性，计算机技术先驱，有兴趣的童靴，可以去查查~

tjpm

1.第一个我不说啥。我也不是太了解证券行业，上次听上海证交所的人是这样说的




2.我说的这个只是说现在选intel x86 机器整体划算而已。我们这边之前也都是用小鸡的，高端存储的。现在CPU制程的发展使得功耗大大降低、性能更强，选新一点的没有什么不好，比如现在最新的intel CPU 加了avx指令集，ssl加解密性能暴增几倍，没有人能抵挡得来这样的诱惑的。当然，前面大家提到的换成x86 集群后维护的成本增高了，这个是事实，大公司养一堆人，这些问题不难解决的。

nixmen 发表于 2012-07-16 14:24
回复 68# tjpm

InfoSVC

回复 96# tjpm

这个肯定是未来的方向,无论证券还是其它行业,
第一是,现在主流的软件产品都太贵了,后续的维保成本也是居高不下,公司为了节约成本肯定愿意使用一些开源,可二次开发但是相对稳定的产品

第二是万兆网络的发展,会让集群内部(包括rac)的通讯带宽变大,减少因为集群内部消耗而引起的一些问题

第三是更多的使用内存,由于内存的价格一路走低,而速度上却是目前所有存储产品里面最快的,使用内存就一位着速度,效率,但是相对的风险也更大一些

第四是横向扩展能力,这点嘛,看web应用就知道好处了,其次横向扩展意味着更多组件的可替代性,相应的在增加系统的安全性

第五是容灾,这个是老调重弹了

其实个人觉得还有第六,就是海量数据的剔重,因为有海量数据,对存储的要求很高(至少空间很大),同时我们的系统一般对一份数据需要保存多次,这样的话硬件成本是非常高的,所以剔重已经是未来可见的一项很重要的工作

至于x86集群还是小型机,只是这个趋势中的一种硬件选择,未来的技术哪个相对的性价比更高,哪个就会占有主导趋势,同时我认为有一个问题是不能忽略的:目前能生产小型机的企业其实就那么4-5家,主流的基本就是ibm hp和oracle,而这些技术相对比较封闭,而生产x86平台的企业太多了,并且技术相对比较开放,所以未来的新技术肯定会在x86平台研发的更多,因为成本较低,这个和初期oracle一般开放新版本时第一个开放的是linux是一样的
   

zhaopingzi

相比于小型机而言，x86服务器集群,有着下面的优势：成本低、性能高、可靠性高、可扩展性好等，完全能够实现复杂业务处理的“TB级数据、超万级并发用户量、秒级操作响应”的目标。
    单个小机来说，小鸡宕机时间端，而且扩展个硬件也不用重启系统。
    另外小鸡的价格也贵，这一点对于好多人说，是个优势

    在实际工作的客户中，有钱的买小鸡，没钱的PC server

   

InfoSVC

大数据的话,分布式是方向
在这点上小机实在不是特长,而且成本高
所以x86平台更适合一些

bbjmmj

互联网行业去IOE搞得轰轰烈烈，已经波及到其它行业，就连传统行业小机最铁杆的粉丝，证券业，也已经开始倒戈了，据说上证要搞“狼群计划”，用一堆X86替代小机，为用户提供低延迟交易服务，这种局势下谈论小机，恐怕是逆潮流而动了。
无数历史经验证明，电脑行业，玩大计算的，最后都死得很惨，这是个残酷的现实，至今没有例外，大数据也不会成为例外。
大数据是个骗局，厂商利用大数据炒作增加IT设备销量。大数据骗局同时还可以一举歼灭像中国这样的国家的最优秀的劳工，因为人才都被大数据吸引过去了，而他们搞的却是最不靠谱的东西。只要成功忽悠一些大型IT企业陷入大数据陷阱，厂商就可以顺利消灭数据处理市场最强劲的敌人。
厂商做什么，咱们就做什么，这才是我辈混饭吃的根本！

meego2012

bbjmmj 发表于 2012-07-10 22:50
互联网行业去IOE搞得轰轰烈烈，已经波及到其它行业，就连传统行业小机最铁杆的粉丝，证券业，也已经开始倒戈 ...

围观大神！

本来好短短的去IOE，经过大神这么一说，感觉和那啥运动啥的，有政治色彩啊

pitonas

小鸡专家集成系统和大规模x86集群的各自的优缺点是什么？
这种局势下谈论小鸡，恐怕是逆流了。目前看来，典型的逆流。

bbjmmj

meego2012 发表于 2012-07-11 09:00
围观大神！

本来好短短的去IOE，经过大神这么一说，感觉和那啥运动啥的，有政治色彩啊

IOE代表的是“企业化”IT建设，而“企业化”则是扼杀用户应用创新能力的杀手，“企业化”消灭了用户专家，瓦解了用户操控IT系统和优化应用的能力，真正要反对的并不是IOE，而是“企业化”。

jimn7302

小机专家集成系统在运行稳定可以接受大量数据量读写，接受数据并发数比大规模x86集群占据优势，而且小机专家集成系统稳定性能比大规模x86集群稳定。

mordorw

楼上的比喻很对。不过，数据库是一块大石头还是很多块小石头呢？难道不能做成X86集群么。即便是一块大石头，也还可以用SSD啊，SSD性价比越来越高了。内存也越来越便宜，64G内存也才2千来块吧。除了X86和小鸡，还有存储系统啊。
总之在X86的世界里，性价比的提升太快

小鸡不还是用的这些个玩意么，性能比X86能强多少呢。当然小鸡可靠性稳定性高，这承认