【讨论】海量数据分析之Hadoop（获奖名单已公布-2012-5-28）

Gray1982

回复 152# 方兆国

这里目前只讨论Hadoop方面的哦
   

方兆国

回复 153# Gray1982


    好的，主要是我看到这里可以很方便的回复你

kns1024wh

回复 151# Gray1982


  开源的精髓就在于此

bjmqz

还没用过hadoop,强势围观.

Gray1982

这里大多是运维，JAVA方面代码的改写可能贴出来的机率比较小
MR的处理过程中有没有更好的应用呢？？？

pl_piaoling

回复 150# Gray1982

redis没有用过
现在就是在测试和研究hbase
感觉hbase将来应该能做得更好
   

Gray1982

回复 158# pl_piaoling


    这个从性能看不一定很好
也有可能我们用的环境和数据不同，建议你在用redis试下
redis你可以用快照一天一备的模式，不要开虚拟机就OK。这样就差不多可以测试性能了

hbsycw

方兆国 发表于 2012-05-16 20:08
这是百度百科上的一段儿

这个在内存中的调度该不是文件系统能够决定的吧？

这个不是在内存调度，这个就是分布式计算，就是一个大的计算在各个节点完成，然后再汇总~

hbsycw

方兆国 发表于 2012-05-16 20:14
回复 129# bbjmmj

Hadoop提供了一种架构优势（集群），而不是依赖于大型服务器来提供高计算能力，是一种可行的可控成本解决方案。但，这并不是意味着否定好机器配置的价值，对于重要的业务系统，好的硬件配置是必须的。

Gray1982

hbsycw 发表于 2012-05-18 15:50
Hadoop提供了一种架构优势（集群），而不是依赖于大型服务器来提供高计算能力，是一种可行的可控成本 ...

现在虽说N多开源软件都说在普通PC上可以正常运行，但在真正的生产环境中，有几个不用正式服务器的？？？
最简单的就是Linux系统，你会用普通的PC来装它跑业务？？？


Hadoop可以通过代码的调整，以及各种XML参数调整，还是可以把它发挥的性能提高的