免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: Gray1982
打印 上一主题 下一主题

[Hadoop&HBase] 【讨论】海量数据分析之Hadoop(获奖名单已公布-2012-5-28) [复制链接]

论坛徽章:
0
171 [报告]
发表于 2012-05-18 23:00 |只看该作者
回复 167# bbjmmj


    她爹,搞点有用的配置参数或者说明什么的呗

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
172 [报告]
发表于 2012-05-19 00:08 |只看该作者
本帖最后由 bbjmmj 于 2012-05-19 00:09 编辑
Gray1982 发表于 2012-05-18 23:00
回复 167# bbjmmj
http://code.google.com/p/maiter/

2x-10x faster than synchronous implementation, 60x faster than Hadoop, for Pagerank benchmark.

论坛徽章:
0
173 [报告]
发表于 2012-05-19 19:08 |只看该作者
hadoop的最小的硬件环境 和 最 mini的 配置文件

论坛徽章:
0
174 [报告]
发表于 2012-05-19 23:01 |只看该作者
回复 175# kns1024wh


    这些做实验到是可以
做datanode的机器,内存要大,Java的东西还是比较费内存的,硬盘看情况是用高速的还是用普通的大容量。

论坛徽章:
0
175 [报告]
发表于 2012-05-20 18:00 |只看该作者
回复 176# Gray1982


   最小的资源需求,并不是在浪费PC Server;hadoop愿意应该为做与大机相同的事情,通过hadoo的方式来实现;

  hadoop的应用不能孤立的从hadoop自身来看,计算量的实现能力与同计算代价的小鸡、大机的对比。

  hadoop目前的说的很多,而对于此的可量化的数据见到的很少?

论坛徽章:
0
176 [报告]
发表于 2012-05-20 21:50 |只看该作者
回复 177# kns1024wh


    可量化的数据见到的确实很少,一是因为相对来说用的不多,一是因为配置什么的都是根据实际情况来的

硬件配置当然还是要一点,多余的资源可以用来做别的嘛

论坛徽章:
0
177 [报告]
发表于 2012-05-21 09:46 |只看该作者
回复 178# Gray1982


    没有可以量化的数据来说明,hadoop 还真就是云里雾里 云呀

论坛徽章:
0
178 [报告]
发表于 2012-05-21 11:15 |只看该作者
kns1024wh 发表于 2012-05-21 09:46
回复 178# Gray1982


自己动手来个环境,就会明白很多东西

论坛徽章:
0
179 [报告]
发表于 2012-05-21 12:01 |只看该作者
回复 182# Gray1982


    demo用的 一个 虚拟就ok
    要是希望对这个有点了解还是要有数据存在的为好的

论坛徽章:
0
180 [报告]
发表于 2012-05-21 12:39 |只看该作者
kns1024wh 发表于 2012-05-21 12:01
回复 182# Gray1982



数据当然要有,最好能自己写下MR
当初我用Python写的MR,加上一些数据,这样你自己改的参数就可以看到效果了
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP