论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2013-10-24 13:31 |只看该作者 |倒序浏览

Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有着高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高传输率（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以流的形式访问（streaming access）文件系统中的数据。
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的，因为它假设计算元素和存储会失败，因此它维护多个工作数据副本，确保能够针对失败的节点重新分布处理。Hadoop 是高效的，因为它以并行的方式工作，通过并行处理加快处理速度。Hadoop 还是可伸缩的，能够处理 PB 级数据。此外，Hadoop 依赖于社区服务器，因此它的成本比较低，任何人都可以使用。
我分享给大家的的这门课程是由robby老师讲的Hadoop应用开发实战。包括：flume应用开发、搜索引擎算法、Pipes、集群、PageRank算法等多种算法在内。
第1章节: 搜索引擎自动推荐；
第2章节:好友智能推荐
第3章节:Hadoop Streaming
第4章节:Hadoop Pipes
第5章节:Apache Flume基础
第6章节: Flume实践及分布式应用
第7章节:最短路径算法的Hadoop实现
第8章节:Hadoop集群管理
第9章节