【讨论】海量数据分析之Hadoop（获奖名单已公布-2012-5-28）

kns1024wh

回复 184# Gray1982


    自己写MR 似乎这个作为开发者是必须的

   cu上的很多还都是 运维角色 自己写MR 不是太靠谱 呵呵

   当然 学习些MR 应该也不是太复杂吧

Gray1982

回复 185# kns1024wh


    嗯，不过现在很多运维在一些方面和开发区别不大了
Hadoop查询一般用Pig来写，不过因为不是很简洁，个人一直用Python写写东西

kns1024wh

回复 186# Gray1982


    是呀 要求也是必须会code

dreamxe

回复 2# Gray1982


    不明白为什么要改网卡缓存

Gray1982

回复 188# dreamxe


   应该说是加大网卡传输速度，这样明白了吧

kns1024wh

回复 189# Gray1982

优化 挖掘 主机的最大性能


   

Gray1982

900节点的数据排序9TB大约需要1.8小时
使用这些非默认配置值：

dfs.block.size = 134217728
dfs.namenode.handler.count = 40
mapred.reduce.parallel.copies = 20
mapred.child.java.opts =-Xmx512m
fs.inmemory.size.mb = 200
io.sort.factor = 100
io.sort.mb = 200
io.file.buffer.size = 131072
1400节点群集上的数据排序14TB需要2.2小时
排序在2000节点的集群20TB需要2.5小时。
配置是：

mapred.job.tracker.handler.count = 60
mapred.reduce.parallel.copies = 50
tasktracker.http.threads = 50
mapred.child.java.opts =-Xmx1024m

moxiaomomo

迟早会接触到这技术滴，顶

无风之谷

欢迎大家分享学习中的经验:wink:

bbjmmj

Gray1982 发表于 2012-05-22 13:07
900节点的数据排序9TB大约需要1.8小时
使用这些非默认配置值：

2000个节点，可以承载一个地级市的宽带业务，拿来做排序实验实在是有点亏了。