【讨论】海量数据分析之Hadoop（获奖名单已公布-2012-5-28）

Gray1982

获奖名单已公布，详情请看：http://bbs.chinaunix.net/thread-3748443-1-1.html   

一般情况下数据日志是每天从生产数据库导出到数据服务器，再通过一个脚本分析这些日志并存入数据库中，这种方式在数据量不大的情况下还是不错的方式。但如果数据量增大，所需的时间就是几何的增长。为了减少每天log分析的时间以及数据的稳定性，我们需要搭建一个稳定的高效处理的平台来，使用并行的方式处理这些log。

本次讨论话题：

1，Hadoop所应用的环境
2，Hadoop所在平台级优化
3，Hadoop配置参数优化
4，Hadoop代码级优化
5，Hadoop的MR其它语言编写（Python等）

活动要求：针对以上任意话题进行分享和讨论。

邀请嘉宾：

crazyhadoop  linux环境编程斑竹，Linux 爱好者。

newfishwa     《高可用性的HDFS—Hadoop分布式文件系统深度实践》作者

活动有奖：我们为大家准备《高可用性的HDFS—Hadoop分布式文件系统深度实践》一书7本，奖励给积极参与讨论的网友。欢迎大家积极分享，讨论！

jinxiuwei

hadoop 的思想是将一个大的任务分割成较小的任务，然后将分割后的任务到不同的机器上并行执行....

Gray1982

回复 259# liuxuejin


    可能认为只是hdfs吧

liuxuejin

我吐了！hadoop 居然是适合做 文件下载 视频点播。笑抽了 。干净扫盲吧。

abcman_cu

学西了，大家分享下

Gray1982

回复 258# emuen_1982


    谢谢
一起努力

hbsycw

回复 255# owenhappy


用户行为分析，看你的应用程序架构，如果有比较详细的LOG记录，分析这个LOG即可~


   

Monkey.D.Luffy

有点兴趣，关注ing

owenhappy

回复 256# hbsycw


知道的几个类型如：电力，电信，银行， 感觉DM , 用hadoop不适合， 这些业务数据更多的是record类型，而且基本分析和查询都有很多的索引，并且每个记录都很小。

挖据的时候应该是随着业务变化而变化的，不是一成不变的， 不可能存了一堆数据，然后挖完一个场景就对别的应用场景无效了？》 那多浪费。

或者来个实际点的。 我们来分析个业务：分析上网爱好。 采集电信宽带的上网URL。 然后对上网用户进行偏好分析和地区分析，你觉得这个数据怎么存？

这个数据存一年应该够海量吧。

hbsycw

回复 255# owenhappy

ETL是DW的前提和基础，而DM这一块是构筑的DW的基础之上的，这里谈的是DM适不适合用Hadoop？因此，就没必要扯其它的~

关于系统架构是用PC Server 还是小机，这个有另一个帖子讨论，这里就不和你辩驳了。

http://bbs.chinaunix.net/thread-3750910-1-1.html