用hadoop搭建分布式存储和分布式运算集群 Filed under: 搜索, 配置, 开发 — 钟 子昌 @ 7:59 pm 1. 列出使用的机器 普通PC，要求： cpu: 750M-1G mem: >128M disk: >10G 不需要太昂贵的机器。 机器名： finewine01 finewine02 finewine03 将finewine01设为主节点，其它的机器为从节点。 2. 下载和生成 从这里checkout，我选择trunk http://svn.apache.org/repos/asf/lucene/hadoop/ 使用ant进行生成 3. 部署前的准备工作 在主节点...
2. 下载和生成 从这里checkout，我选择trunk http://svn.apache.org/repos/asf/lucene/hadoop/ 使用ant进行生成 3. 部署前的准备工作 在主节点的start-all.sh脚本执行后，主节点和从节点的所有服务运行。即这个脚本将启动主节点的服务，并ssh到从所有的节点，继而启动从节点的服务。 start-all.sh这个脚本假定hadoop被安装在所有机器的同一个位置，每一台机器都用同一个路径存放hadoop的数据。 我们需要在每台机器上创建同样的目录...
hadoop 是Google MapReduce 的一个Java实现。MapReduce是一种简化的分布式编程模式，让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样， MapReduce的run-time系统会解决输入数据的分布细节，跨越机器集群的程序执行调度，处理机器的失效，并且管理机器之间的通讯请求。这样的模式允许程序员可以不需要有什么并发处理或者分布式系统的经验，就可以处理超大的分布式系统得资源。...
1.解压 [color="#555555"]1 tar -zvxf hadoop-0.16.1.tar.gz 同时设置环境变量 [color="#555555"]1 2 3 4 5 6 7 8 9 10 11 12 13 14 # vi /etc/profile JAVA_HOME=/usr/local/jrockit export JAVA_HOME PATH=$PATH:$JAVA_HOME/bin export PATH CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export CLASSPATH hadoop_HOME=/usr/local/hadoop export hadoop_HOME hadoop_LOG_DIR=/var/log/hadoop export hadoop_LOG_DIR hadoop_...
[color="#993300"]一、简要介绍 这里先大致介绍一下hadoop. 本文大部分内容都是从官网 [color="#009933"]hadoop 上来的。其中有一篇 [color="#009933"]介绍HDFS的pdf文档 ，里面对hadoop介绍的比较全面了。我的这一个系列的hadoop学习笔记也是从 [color="#009933"]这里 一步一步进行下来的，同时又参考了网上的很多文章，对学习hadoop中遇到的问题进行了归纳总结。 言归正传，先说一下hadoop的来龙去脉。谈到hadoop就...
[color="#993300"]一、简要介绍 这里先大致介绍一下 hadoop . 本文大部分内容都是从官网 [color="#009933"]hadoop 上来的。其中有一篇 [color="#009933"]介绍HDFS的pdf文档 ，里面对hadoop介绍的比较全面了。我的这一个系列的hadoop学习笔记也是从 [color="#009933"]这里 一步一步进行下来的，同时又参考了网上的很多文章，对学习hadoop中遇到的问题进行了归纳总结。 言归正传，先说一下hadoop的来龙去脉。谈到hadoop就不...
hadoop配置文件配置项定义 0. 版本 0.19.2 1. hadoop cluster组成 1.1. HDFS 1.1.1 Name Node (1台) 1.1.2 Secondary Name Node (1台, 可选) 1.1.3 Data Node (若干台) 1.2. MR 1.2.1 Master [JobTracker] (1台) 1.2.2 Slave [TaskTracker] (若干台) 2. 配置文件 2.1 hadoop-default.xml hadoop集群的默认配置, 通常不需要修改这个配置文件. 2....
