免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: Gray1982

[Hadoop&HBase] 【讨论】海量数据分析之Hadoop(获奖名单已公布-2012-5-28) [复制链接]

论坛徽章:
0
发表于 2012-05-11 17:45 |显示全部楼层
很精辟~~赞~回复 16# newfishwa


   

论坛徽章:
0
发表于 2012-05-11 19:34 |显示全部楼层
回复 30# newfishwa


    呵呵,感谢您的指导。我上次就听人那么一说。

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
发表于 2012-05-11 20:59 |显示全部楼层
回复 11# ecjtubaowp


    哈~~ hadoop强大之处就是多机联合运算啊,原来一台机器无法既能同时处理大量的数据,又进行大量的计算。

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
发表于 2012-05-11 21:03 |显示全部楼层
为了能高效的利用海量数据,可以研究下hadoop文件的存储格式,在记录海量数据的时候,就保存为hadoop可以存取的方式。这样,以后文件直接拷过来用,类似mysql Myisam表似的,可以拷过来用。

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
发表于 2012-05-11 21:03 |显示全部楼层
回复 19# Moon_Bird


    现在是Big data的时代了

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
发表于 2012-05-11 21:05 |显示全部楼层
回复 16# newfishwa


    嗯,特点鲜明撒~~ 什么工具都是有用武之地的,尺有所长,寸有所短

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
发表于 2012-05-11 21:08 |显示全部楼层

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
发表于 2012-05-11 21:09 |显示全部楼层
回复 27# cu_little_bird


    可以认为是一个计算的框架吧

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
发表于 2012-05-11 21:10 |显示全部楼层
回复 29# rootsecurity


    没那么夸张了啊! 就是一些机器比较稳定的集合一起干点事情了。人多力量大

论坛徽章:
1
CU十二周年纪念徽章
日期:2013-10-24 15:41:34
发表于 2012-05-11 23:03 |显示全部楼层
别光说原理,给点实际例子(有生产环境下的更好)

我现在在考虑如何用脚本,比如perl、awk等来处大文件数据(不一定是海量)。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP