hadoop与storm的一点区别

wang290

hadoop是实现了mapreduce的思想，将数据切片计算来处理大量的离线数据数据。hadoop处理的数据必须是已经存放在hdfs上或者类似hbase的数据库中，所以hadoop实现的时候是通过移动计算到这些存放数据的机器上来提高效率

而storm不同，storm是一个流计算框架，处理的数据是实时消息队列中的，所以需要我们写好一个topology逻辑放在那，接收进来的数据来处理，所以是通过移动数据平均分配到机器资源来获得高效率。


总的来说

hadoop的优点是处理数据量大（瓶颈是硬盘和namenode，网络等），分析灵活，可以通过实现dsl，mdx等拼接hadoop命令或者直接使用hive（超烂。。），pig等来灵活分析数据。适应对大量维度进行组合分析

ps:相较与hive，pig建议自己实现mdx，即灵活又高效

缺点就是慢：每次执行前要分发jar包，hadoop每次map数据超出阙值后会将数据写入本地文件系统，然后在reduce的时候再读进来


storm的优点是全内存计算，因为内存寻址速度是硬盘的百万倍以上，所以storm的速度相比较hadoop非常快（瓶颈是内存，cpu）

缺点就是不够灵活：必须要先写好topology结构来等数据进来分析，如果我们需要对几百个维度进行组合分析，那么。。。


另外推荐storm的DRPC实在太有用了，以至于这个本来要分理出来的项目，被并入storm^^

本文由larrylgq编写，转载请注明出处：http://blog.csdn.net/larrylgq/article/details/7326058

作者:吕桂强

邮箱：larry.lv.word@gmail.com

wenhq

不错，学习了。谢谢LZ！！！

wang290

wenhq 发表于 2013-05-20 16:05
不错，学习了。谢谢LZ！！！

客气了，在csdn看到的，刚好游泳就转过来了

wenhq

接收进来的数据来处理，所以是通过移动数据平均分配到机器资源来获得高效率。

如何实现？

其实我比较疑惑这个。