免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: Gray1982

[Hadoop&HBase] 【讨论】海量数据分析之Hadoop(获奖名单已公布-2012-5-28) [复制链接]

论坛徽章:
0
发表于 2012-05-12 00:07 |显示全部楼层
crazyhadoop 发表于 2012-05-11 21:09
回复 27# cu_little_bird

没错,其实就是一大框架,起码我是这么认为像django为一个WEB框架一样
主要还是看MR等的使用

论坛徽章:
0
发表于 2012-05-12 00:10 |显示全部楼层
crazyhadoop 发表于 2012-05-11 21:10
回复 29# rootsecurity

群集计算嘛,细分还是不少的

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
发表于 2012-05-12 15:40 |显示全部楼层
hbsycw 发表于 2012-05-11 10:39
HADOOP本质上是个批处理系统,是不适合实时应用的,当然对随机读写的需求就不高了~


随机读写,对于跑在硬盘上的应用来说,是个不可妥协的要求。HADOOP完全可以用磁带库来代替,效率会更高。

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
发表于 2012-05-12 15:41 |显示全部楼层
rootsecurity 发表于 2012-05-11 11:37
一直没机会尝试HADOOP,据说某数字公司的软件下载服务器就是用的HDFS分布式。具体为fuse+hadoop。
什么dat ...


软件下载、VOD点播,都可以用HADOOP。

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
发表于 2012-05-12 15:51 |显示全部楼层
crazyhadoop 发表于 2012-05-11 21:03
回复 19# Moon_Bird


世上根本就没有什么Big Data,有的只是高速的运算芯片从龟速硬盘里面拽数据,为了提高I/O,不得不加大硬盘使用量,但是用户经常不认可你在服务器上插太多磁盘,他们嫌你插太多盘搞得服务器太重他们搬不动,于是,就编了个Big Data骗骗他们。

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
发表于 2012-05-12 15:52 |显示全部楼层
Gray1982 发表于 2012-05-12 00:01
小公司都TB级了
现在PB级的很多哦


是啊,学校刚买了两台服务器,20T容量了。

论坛徽章:
27
CU大牛徽章
日期:2013-03-13 15:15:08CU大牛徽章
日期:2013-05-20 10:46:38CU大牛徽章
日期:2013-05-20 10:46:44CU大牛徽章
日期:2013-09-18 15:24:09CU大牛徽章
日期:2013-09-18 15:24:20CU大牛徽章
日期:2013-09-18 15:24:25CU大牛徽章
日期:2013-09-18 15:24:31CU大牛徽章
日期:2013-09-18 15:24:36CU大牛徽章
日期:2013-09-18 15:24:41CU大牛徽章
日期:2013-09-18 15:24:48CU大牛徽章
日期:2013-09-18 15:24:52处女座
日期:2013-09-27 17:45:43
发表于 2012-05-12 19:03 |显示全部楼层
本帖最后由 yifangyou 于 2012-05-12 19:07 编辑

Hadoop提供了一个平台,让我们能够通过Hadoop控制多台机器同时做一个运算,每台机器只负责处理一部分数据,这个交Map;把数据汇总计算交Reduce.
需要的运行环境是linux或者unix居多,需要jdk来运行java
主要应用于对海量文本文件处理。
程序员开发主要是对Map和Reduce两部分进行。
各个子任务的完成完全由Hadoop来控制,这样我们不需要关系失败的任务,当然我们也可以自己控制。
我公司没有达到TB级的数据分析,目前Hadoop还没有用上{:3_201:}

或许是Hadoop脱胎于搜索引擎,处理方式都是一行行的文本,我觉得传统关系数据库的复杂关系统计,Hadoop估计还是处理不了

论坛徽章:
0
发表于 2012-05-12 22:12 |显示全部楼层
回复 12# Gray1982


    单机的适合学习 不适合作业

论坛徽章:
0
发表于 2012-05-12 22:14 |显示全部楼层
回复 60# yifangyou


    应该关注的 IOE之后  如何 MySQL /NOSQL + hdfs的应用及实现方式

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
发表于 2012-05-12 22:27 |显示全部楼层
回复 58# bbjmmj


    哈~ 不敢认同你这个说法~
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP