免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 58747 | 回复: 259

[Hadoop&HBase] 【讨论】海量数据分析之Hadoop(获奖名单已公布-2012-5-28) [复制链接]

论坛徽章:
0
发表于 2012-05-10 09:54 |显示全部楼层

获奖名单已公布,详情请看:http://bbs.chinaunix.net/thread-3748443-1-1.html   

一般情况下数据日志是每天从生产数据库导出到数据服务器,再通过一个脚本分析这些日志并存入数据库中,这种方式在数据量不大的情况下还是不错的方式。但如果数据量增大,所需的时间就是几何的增长。为了减少每天log分析的时间以及数据的稳定性,我们需要搭建一个稳定的高效处理的平台来,使用并行的方式处理这些log。

本次讨论话题:

1,Hadoop所应用的环境
2,Hadoop所在平台级优化
3,Hadoop配置参数优化
4,Hadoop代码级优化
5,Hadoop的MR其它语言编写(Python等)

活动要求:针对以上任意话题进行分享和讨论。

邀请嘉宾:

crazyhadoop  linux环境编程斑竹,Linux 爱好者。

newfishwa     《高可用性的HDFS—Hadoop分布式文件系统深度实践》作者

活动有奖:我们为大家准备《高可用性的HDFS—Hadoop分布式文件系统深度实践》一书7本,奖励给积极参与讨论的网友。欢迎大家积极分享,讨论!

1.jpg

论坛徽章:
0
发表于 2012-05-10 10:02 |显示全部楼层
先占位,说个最简单的
一:加noatime
二:改硬盘和网卡的缓存

论坛徽章:
4
CU大牛徽章
日期:2013-03-13 15:32:35CU大牛徽章
日期:2013-03-13 15:38:15CU大牛徽章
日期:2013-03-13 15:38:52戌狗
日期:2013-12-27 15:08:11
发表于 2012-05-10 10:05 |显示全部楼层
好话题 :wink:

论坛徽章:
381
CU十二周年纪念徽章
日期:2014-01-04 22:46:58CU大牛徽章
日期:2013-03-13 15:32:35CU大牛徽章
日期:2013-03-13 15:38:15CU大牛徽章
日期:2013-03-13 15:38:52CU大牛徽章
日期:2013-03-14 14:08:55CU大牛徽章
日期:2013-04-17 11:17:19CU大牛徽章
日期:2013-04-17 11:17:32CU大牛徽章
日期:2013-04-17 11:17:37CU大牛徽章
日期:2013-04-17 11:17:42CU大牛徽章
日期:2013-04-17 11:17:47CU大牛徽章
日期:2013-04-17 11:17:52CU大牛徽章
日期:2013-04-17 11:17:56
发表于 2012-05-10 10:17 |显示全部楼层
支持楼主.目前还没用过hadoop,强势围观.

论坛徽章:
0
发表于 2012-05-10 10:28 |显示全部楼层
又来迟了 被抢了

论坛徽章:
13
技术图书徽章
日期:2014-04-29 14:15:42IT运维版块每日发帖之星
日期:2015-12-12 06:20:00IT运维版块每日发帖之星
日期:2015-08-30 06:20:00IT运维版块每日发帖之星
日期:2015-08-24 06:20:00IT运维版块每日发帖之星
日期:2015-08-02 06:20:002015年亚洲杯之澳大利亚
日期:2015-04-03 15:03:12申猴
日期:2015-03-20 09:00:292015年迎新春徽章
日期:2015-03-04 09:54:452015年辞旧岁徽章
日期:2015-03-03 16:54:15季节之章:冬
日期:2015-01-20 17:08:47双子座
日期:2014-11-21 16:30:31技术图书徽章
日期:2014-07-11 16:29:08
发表于 2012-05-10 11:00 |显示全部楼层
学习了,等大家分享下

论坛徽章:
4
CU十二周年纪念徽章
日期:2013-10-24 15:41:34摩羯座
日期:2013-12-24 13:05:332015亚冠之西悉尼流浪者
日期:2015-10-09 16:03:47fulanqi
日期:2016-06-17 17:54:25
发表于 2012-05-10 11:16 |显示全部楼层
开始讨论Hadoop了,CU社区的力量果然强大啊,必须支持~

论坛徽章:
4
CU十二周年纪念徽章
日期:2013-10-24 15:41:34摩羯座
日期:2013-12-24 13:05:332015亚冠之西悉尼流浪者
日期:2015-10-09 16:03:47fulanqi
日期:2016-06-17 17:54:25
发表于 2012-05-10 12:04 |显示全部楼层
目前也在初步的学习使用中,就简单讲一下对Hadoop的入门理解和认识:

The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers using a simple programming model. It is designed to scale up from single servers to thousands of machines, each offering local computation and storage.

以上是Hadoop官方文档给出的Hadoop描述定义,简单的讲: Hadoop是一个设计用来处理大数据的分布式计算框架,特点是能够使用一种简单的编程模式来进行集群计算(Cluster Computing), 它的设计目标是每个计算节点都能提供本地的计算和存储,而且计算节点能够很好的进行水平扩展(Scale up )。而HDFS(Hadoop Distributed File System)是Hadoop分布式计算框架实施的基础。

Hadoop所应用的场景是海量数据分析和计算。比如上面讲的Log日志分析以及BI项目应用。

论坛徽章:
154
2022北京冬奥会纪念版徽章
日期:2015-08-07 17:10:5720周年集字徽章-年
日期:2022-10-26 16:44:2015-16赛季CBA联赛之深圳
日期:2022-11-02 14:02:4515-16赛季CBA联赛之八一
日期:2022-11-28 12:07:4820周年集字徽章-20	
日期:2023-07-19 08:49:4515-16赛季CBA联赛之八一
日期:2023-11-04 19:23:5115-16赛季CBA联赛之广夏
日期:2023-12-13 18:09:34
发表于 2012-05-10 12:37 |显示全部楼层
目前还没用过hadoop,强势围观.

论坛徽章:
59
2015七夕节徽章
日期:2015-08-24 11:17:25ChinaUnix专家徽章
日期:2015-07-20 09:19:30每周论坛发贴之星
日期:2015-07-20 09:19:42ChinaUnix元老
日期:2015-07-20 11:04:38荣誉版主
日期:2015-07-20 11:05:19巳蛇
日期:2015-07-20 11:05:26CU十二周年纪念徽章
日期:2015-07-20 11:05:27IT运维版块每日发帖之星
日期:2015-07-20 11:05:34操作系统版块每日发帖之星
日期:2015-07-20 11:05:36程序设计版块每日发帖之星
日期:2015-07-20 11:05:40数据库技术版块每日发帖之星
日期:2015-07-20 11:05:432015年辞旧岁徽章
日期:2015-07-20 11:05:44
发表于 2012-05-10 13:06 |显示全部楼层
zhichi.
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP