【讨论】海量数据分析之Hadoop（获奖名单已公布-2012-5-28）

kns1024wh

回复 60# yifangyou


    应该关注的 IOE之后  如何 MySQL /NOSQL + hdfs的应用及实现方式

crazyhadoop

回复 58# bbjmmj


    哈~ 不敢认同你这个说法~

kns1024wh

回复 1# Gray1982

可以这样来说，玩过LVS+ HA+ Cache +Menory DB的运维达人的技术趋向比人是Hadoop 为主导的云计算方向；
Hadoop的是java基础环境，所以部署很简单
以下对做简要的理解交流

1，Hadoop所应用的环境
需要计算的场景，计算这个是一个很亲切又笼统的一个概念，何为计算？？？
从计算角度如前一阶段cu上热烈讨论的12306 就是可以变更为Hadoop的应用模式，在Hadoop上完成 Map Reduce 的计算工作将复杂的数据逻辑变成简洁的1 2 3 就可以快捷相应；

Hadoop的场景就是计算；

电信行业的业务BOSS类的系统也可以Hadoop

搜索引擎体现的更为明显，源于hadoop的仿效谷歌--

renren mop 都在用 hadoop 还有很多也都在用
2，Hadoop所在平台级优化
如果仁兄是用PC来做Hadoop哪个就是比较的扯了，Hadoop的计算优势的对比是与IBM+Oracle+EMC进行对对比的，
小鸡、甲骨文、存储
Hadoop部署的PC Server 上，100-1000规模的计算能力的客观度很高
Hadoop的优化是与业务相关的以及选择的应用API

3，Hadoop配置参数优化
几个datanode 复制数量 这个要看业务应用，存储设备是是sas ssd？ sata scisci ？
核心的hadoop配置参数就是3-4个，通过官方的提示可以扩充很多的优化信息

4，Hadoop代码级优化
如同MySQL Linux kernel 要性能更高就必须优化代码 code级别来解决问题

5，Hadoop的MR其它语言编写（Python等）
Python这个入门级别低  Java这个是优选的

Gray1982

回复 61# kns1024wh


    他说的是不用Hadoop，用单机跑分析日志
不做分布式，用hadoop干嘛啊

bbjmmj

crazyhadoop 发表于 2012-05-12 22:27
回复 58# bbjmmj

据说美国政府投资两亿美金研究大数据——两亿美金，都不够很多大学一年的开销，两亿美金几乎等于零投入，美国政府不信大数据，咱也别信大数据。
摩尔定律让电脑芯片速度暴增，但机械硬盘在速度上却没能追得上去，而固态存储的容量又远远不够，而且价格太高，所以现在电脑科技最大的难题是外存储器，目前IT界所有关于大系统的炒作全部都是因为外存储器，这是问题的根本，本贴就是专门聊外存的。

Gray1982

回复 64# kns1024wh


    兄台，345能来几个代码吗

kns1024wh

回复 1# Gray1982


    hadoop-0.20.2.tar.gz 版本在CU下载可以找到了:wink:


http://download.chinaunix.net/download/0014000/13378.shtml

kns1024wh

回复 67# Gray1982


    呵呵

   从来不写code 代码木有呀  

   关于Hadoop的架构上的事情 还是可以聊聊的

Gray1982

bbjmmj 发表于 2012-05-12 15:51
世上根本就没有什么Big Data，有的只是高速的运算芯片从龟速硬盘里面拽数据，为了提高I/O，不得不加大硬 ...

估计说的是海量文件，不是说单一文件的大小

kns1024wh

回复 67# Gray1982

conf
hadoop-site.xml
core-site.xml
mapred-site.xml
hdfs-site.xml