免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 7900 | 回复: 25
打印 上一主题 下一主题

[Hadoop&HBase] 请问处理每天大数据,hadoop可以? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2012-06-26 18:16 |只看该作者 |倒序浏览
本帖最后由 小丶力丫 于 2012-06-26 18:18 编辑


   其实我们公司处理数据在1G-2G左右,对别人来说算不上什么大数据,

  对我们来说,这个1G的数据,就要处理2个小时差不多,


  虽说,hadoop是专业处理大数据的,对我们这个1G--2G的数据,可以无视,


  但是把,使用也不是什么坏处。可以说大才小用,

  不过我决定还是用hadoop,

  求一下这类相关的文档,失望大家帮个忙,因为近期,可以就要用上了, 一共4台linux服务器来做 hadoop。

  对它的概念不是很明白,

  各位大仙有比较详细的文档,共享下,

论坛徽章:
0
2 [报告]
发表于 2012-06-26 21:16 |只看该作者
你想处理什么样的数据,得到什么样的结果
4台足够了

论坛徽章:
0
3 [报告]
发表于 2012-06-27 09:55 |只看该作者
回复 2# Gray1982


    我总监到是没告诉我, 内几台原来是统计服务器,


   主要是统计网站的点击量啊,一些数据,


   得到的结果是什么样的,我还真不清楚,

   
   hadoop做数据处理,是以什么样子呈现的?

论坛徽章:
0
4 [报告]
发表于 2012-06-27 12:15 |只看该作者
没问题 就是统计数据的话是没问题的
你看下map reduce,简单的说就是根据要求各种过滤

论坛徽章:
0
5 [报告]
发表于 2012-06-27 14:07 |只看该作者
回复 4# Gray1982


    好的,谢谢,

   请问有没有详细的文档。 网上写的比较潦草。

  
   最近搜到 hadoop权威指南,不知道行不行。


   你说的map reduce,是需要自己编写么?

论坛徽章:
0
6 [报告]
发表于 2012-06-27 15:33 |只看该作者
hadoop权威指南前面的原理讲的很好,后面的安装方面也行吧,比较简单的,网上大多全一点。
可以自己编写 默认也行 以你那2G的容量就不需要了吧,看你那吧,这没什么可说多说的。
如果遇到一些其它方面的事,可能得现找了······

论坛徽章:
0
7 [报告]
发表于 2012-06-29 10:32 |只看该作者
回复 6# Gray1982


    非常感谢版主,我下个权威指南,和一个配置,俩个结合起来看,,


   在请问。这个编写?是根据什么语言编写的?

   hadoop自带有它自己的语言?

论坛徽章:
0
8 [报告]
发表于 2012-06-29 10:45 |只看该作者
java python等都可以,书上后面会有介绍可以用什么语言

论坛徽章:
0
9 [报告]
发表于 2012-06-29 10:49 |只看该作者
回复 8# Gray1982


    谢谢版主了,  不过语言我到是不会。

论坛徽章:
0
10 [报告]
发表于 2012-07-02 10:24 |只看该作者
回复 8# Gray1982


    问下版本。现在哪个版本比较稳定?

官方心在有  hadoop-2.0.0-alpha-src.tar.gz     16-May-2012 10:17   15M  
      hadoop-2.0.0-alpha-src.tar.gz.asc 16-May-2012 10:17  827   
      hadoop-2.0.0-alpha-src.tar.gz.mds 16-May-2012 10:17  1.2K  
      hadoop-2.0.0-alpha.tar.gz         16-May-2012 10:17   79M  
      hadoop-2.0.0-alpha.tar.gz.asc     16-May-2012 10:17  827   
      hadoop-2.0.0-alpha.tar.gz.mds  


2.0.0 现在稳定么? 上面的alpha是代表什么意思啊?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP