【讨论】海量数据分析之Hadoop（获奖名单已公布-2012-5-28）

Gray1982

获奖名单已公布，详情请看：http://bbs.chinaunix.net/thread-3748443-1-1.html   

一般情况下数据日志是每天从生产数据库导出到数据服务器，再通过一个脚本分析这些日志并存入数据库中，这种方式在数据量不大的情况下还是不错的方式。但如果数据量增大，所需的时间就是几何的增长。为了减少每天log分析的时间以及数据的稳定性，我们需要搭建一个稳定的高效处理的平台来，使用并行的方式处理这些log。

本次讨论话题：

1，Hadoop所应用的环境
2，Hadoop所在平台级优化
3，Hadoop配置参数优化
4，Hadoop代码级优化
5，Hadoop的MR其它语言编写（Python等）

活动要求：针对以上任意话题进行分享和讨论。

邀请嘉宾：

crazyhadoop  linux环境编程斑竹，Linux 爱好者。

newfishwa     《高可用性的HDFS—Hadoop分布式文件系统深度实践》作者

活动有奖：我们为大家准备《高可用性的HDFS—Hadoop分布式文件系统深度实践》一书7本，奖励给积极参与讨论的网友。欢迎大家积极分享，讨论！

Gray1982

先占位，说个最简单的
一：加noatime
二：改硬盘和网卡的缓存

Gray1982

回复 11# ecjtubaowp


    单台跑？只能慢慢跑了呗

Gray1982

回复 24# bbjmmj


    小文件放在贴在中，调块大小
Hadoop一般用来分析日志，这样的日志文件会有小的吗

Gray1982

回复 28# cu_little_bird


    理论上没什么，不过最好大内存，大容量（这个需要看你实际应用）

Gray1982

newfishwa 发表于 2012-05-11 12:21
回复 29# rootsecurity

补充一点是，还有一个second data node 也就是为了解决单点

Gray1982

newfishwa 发表于 2012-05-11 12:42
是的，如果要构建一个实用的HDFS，就要解决NameNode的单点问题，如果NameNode失效，整个HDFS就无法工作 ...

学习学习

Gray1982

crazyhadoop 发表于 2012-05-11 21:08
回复 35# zzosce

现在大多应该是0.20了吧
http://hadoop.apache.org/common/docs/r0.20.0/quickstart.html
这个哦

Gray1982

crazyhadoop 发表于 2012-05-11 21:03
回复 19# Moon_Bird

小公司都TB级了
现在PB级的很多哦

Gray1982

crazyhadoop 发表于 2012-05-11 21:09
回复 27# cu_little_bird

没错，其实就是一大框架，起码我是这么认为像django为一个WEB框架一样
主要还是看MR等的使用