数据挖掘：小机专家集成系统VS大规模x86集群 孰胜孰劣？（获奖名单已公布-8-23）

InfoSVC

其实无论是hadoop还是其它的大数据处理工具,如gp,Netezza等,其实更多需要未来存储厂商的配合,如果只是单独的讨论小机还是x86,在大数据上其实都很难有做为的.

hbsycw

[高级应用] 数据挖掘：小机专家集成系统VS大规模x86集群 孰胜孰劣？

很好的讨论话题，是一个技术架构取舍的问题，适合各位大牛和技术控深入探讨。本人的见解和观点如下，抛砖引玉：

一 什么是数据挖掘（DM，Data Mining）
    其实简单讲，就是通过大规模的数据处理（涉及各种算法，数学模型比较多~），从中找到某种关联或者特征，从而发现知识和规律，从而对实践起预测或者规划指导作用的一种高级数据处理技术。
二 系统架构取舍
    显然，这是一种计算+存储密集型的应用，也就是对系统的整体吞吐量要求比较高。那么对于这样一个系统的搭建，直观的想法，当然是高性能的计算机啦，作为可行的解决方案，小机专家集成系统是一种解决方案；同时，并行处理技术的发展，使大规模x86集群也是一种可行的方案。那么，对于这两种系统架构，该如何取舍呢？首先，从系统的可扩展性来讲，大规模x86集群是一种Scale Out（  水平伸缩） 架构，可扩展性自然优于小机专家集成系统 Scale Up（垂直伸缩），我们应该认识到，对于DM(数据挖掘)这样的应用，其需要的计算能力是和问题域，也就是要处理的数据量的大小有关的，也就是说，其，应用的本质，需要一种较为灵活的架构，以满足不断增长的数据。这种趋势，也就是现在流行的Big Data概念, Hadoop 的成功和流行也说明了这一点；其次，从成本和可维护性来讲，在我做技术决策时，我一直有种观点，“业务应用看需求，技术架构看成本”。显然，小机的投入成本是昂贵的，运维是需要专人服务的，相对日益价廉的PC Server，如果能用几台x86集群就能达到同样的计算能力，而运维成本也可控的情况下。哪为什么不用这种方案呢？
三 小结
   数据挖掘，是用小机专家集成系统 还是 大规模x86集群架构，这个第一，看你的业务需要，第二，看你差不差钱，孰胜孰劣，就仁者见仁智者见智了，欢迎拍砖~


另，这里和大家分享一个有趣的观点，来自《Hadoop权威指南》：

古代，人们用牛来拉重物。当一头牛拉不动一根原木时，他们不曾想培育更大更壮的牛。同样，我们也不需要尝试开发超级计算机，而应试着结合使用更多计算机。

--Grace Hopper

PS: 关于Grace Hopper，这是一个伟大的女性，计算机技术先驱，有兴趣的童靴，可以去查查~

morinson

bbjmmj 发表于 2012-07-10 22:50
互联网行业去IOE搞得轰轰烈烈，已经波及到其它行业，就连传统行业小机最铁杆的粉丝，证券业，也已经开始倒戈 ...

分析的到位，这就是客观现实啊。IT行业骗子最多了。

bbjmmj

mike79 发表于 2012-07-13 13:32
大神一语道出自己推荐用x86这种落后技术的原因了。

X86属于尖端技术，小机不是，小机落后了一个时代，它只是一个信息化的奢侈品而已。
我多少了解一点商用技术，商业技术的特点是易用性好，可以满足企业用人唯亲的需要，包括小机也是如此，用小机基本不用了解OS、编程什么的，用X86不了解这些早晚会抓瞎。
我用过7种不同品牌型号的小型机，还有大型机，这是经验之谈。

bbjmmj

mike79 发表于 2012-07-13 13:43
回复 42# bbjmmj
神九火箭造价上亿，只载了3个人。性价比连汽车的零头都比不上，为什么不让汽车载人上天？ ...

曾经流行过一句话：造导弹的不如卖茶叶蛋的。一个人所从事的行业是不能拿来装B的。

mike79

bbjmmj 发表于 2012-07-13 19:22
曾经流行过一句话：造导弹的不如卖茶叶蛋的。一个人所从事的行业是不能拿来装B的。

大神你不就是一直在装B么？

mike79

bbjmmj 发表于 2012-07-13 19:21
X86属于尖端技术

大神又在装B了吧？
告诉你，算盘才是最尖端技术。

bbjmmj

mike79 发表于 2012-07-13 22:18
大神你不就是一直在装B么？

人应该多学点知识，而不是拿着别人的资本去装B。拿自己的知识去装B，不算丢人。
真正复杂的是PC，没人教你，没地方接受培训，涉猎面又极宽，不但需要丰富的知识积累，还得有创造力，才有可能玩得转PC。
我用过大型机和小型机，用这些高价设备，掌握一些操作层面的东西就已经足够了，随便什么歪瓜裂枣，拉去培训一段时间，基本上都能学会，实在学不会还有卖家的技术支持。
高价设备的好处是易用性和应用支持服务做得比较好，可以满足企业用人唯亲的需要，但是企业用这些高价设备，要想达到融合创新的最高应用境界，基本上是没可能的，除非你自己造这些东西。

mike79

bbjmmj 发表于 2012-07-13 23:43
真正复杂的是PC，没人教你，没地方接受培训

大神果然在装

mike79

bbjmmj 发表于 2012-07-13 23:43
真正复杂的是PC，没人教你，没地方接受培训

大神果然在装B。PC服务器这么简单的东西，还要人教？还要培训？
大神你的智商是不是太高了？250了？
大神，有没有人教你在地面上怎么呼吸？有没有人培训过你？如果没人教，没人培训，你怎么没把自己给闷死？