小丶力丫 发表于 2012-06-26 18:16

请问处理每天大数据，hadoop可以？

本帖最后由 小丶力丫 于 2012-06-26 18:18 编辑


   其实我们公司处理数据在1G-2G左右，对别人来说算不上什么大数据，

对我们来说，这个1G的数据，就要处理2个小时差不多，


虽说，hadoop是专业处理大数据的，对我们这个1G--2G的数据，可以无视，


但是把，使用也不是什么坏处。可以说大才小用，

不过我决定还是用hadoop，

求一下这类相关的文档，失望大家帮个忙，因为近期，可以就要用上了， 一共4台linux服务器来做 hadoop。

对它的概念不是很明白，

各位大仙有比较详细的文档，共享下，

Gray1982 发表于 2012-06-26 21:16

你想处理什么样的数据，得到什么样的结果
4台足够了:victory:

小丶力丫 发表于 2012-06-27 09:55

回复 2# Gray1982


    我总监到是没告诉我， 内几台原来是统计服务器，


   主要是统计网站的点击量啊，一些数据，


   得到的结果是什么样的，我还真不清楚，

   
   hadoop做数据处理，是以什么样子呈现的？

Gray1982 发表于 2012-06-27 12:15

没问题 就是统计数据的话是没问题的
你看下map reduce，简单的说就是根据要求各种过滤:victory:

小丶力丫 发表于 2012-06-27 14:07

回复 4# Gray1982


    好的，谢谢，

   请问有没有详细的文档。 网上写的比较潦草。


   最近搜到 hadoop权威指南，不知道行不行。


   你说的map reduce，是需要自己编写么？

Gray1982 发表于 2012-06-27 15:33

hadoop权威指南前面的原理讲的很好，后面的安装方面也行吧，比较简单的，网上大多全一点。
可以自己编写 默认也行 以你那2G的容量就不需要了吧，看你那吧，这没什么可说多说的。
如果遇到一些其它方面的事，可能得现找了······:victory:

小丶力丫 发表于 2012-06-29 10:32

回复 6# Gray1982


    非常感谢版主，我下个权威指南，和一个配置，俩个结合起来看，，


   在请问。这个编写？是根据什么语言编写的？

   hadoop自带有它自己的语言？

Gray1982 发表于 2012-06-29 10:45

java python等都可以，书上后面会有介绍可以用什么语言:victory:

小丶力丫 发表于 2012-06-29 10:49

回复 8# Gray1982


    谢谢版主了，:mrgreen:不过语言我到是不会。

小丶力丫 发表于 2012-07-02 10:24

回复 8# Gray1982


    问下版本。现在哪个版本比较稳定？

官方心在有hadoop-2.0.0-alpha-src.tar.gz   16-May-2012 10:17   15M
      hadoop-2.0.0-alpha-src.tar.gz.asc 16-May-2012 10:17827   
      hadoop-2.0.0-alpha-src.tar.gz.mds 16-May-2012 10:171.2K
      hadoop-2.0.0-alpha.tar.gz         16-May-2012 10:17   79M
      hadoop-2.0.0-alpha.tar.gz.asc   16-May-2012 10:17827   
      hadoop-2.0.0-alpha.tar.gz.mds


2.0.0 现在稳定么？ 上面的alpha是代表什么意思啊？
页: [1] 2 3
查看完整版本: 请问处理每天大数据，hadoop可以？