hadoop使用笔记

jiangwen127

                                下面提到的操作都是基于我的这个hadoop安装方法的：
http://blog.chinaunix.net/u3/99156/showart.php?id=2156593
按照Hadoop官网中的Quick start操作(这里http://hadoop.apache.org/common/docs/current/quickstart.html)启动hadoop。
1.Hadoop默认创建的dfs文件系统在哪里？
/tmp/hadoop-xxxxx/,每次重启系统之后，这个文件系统就不存在了，正在研究如何指定dfs的目录。
2.Hadoop dfs文件操作。
具体参数请看bin/hadoop dfs中的说明，这里只作简单的介绍:
-put localfile dst
上传，上传之后文件名不在是本地的文件名，但是内容是没有变的，也就是内容没有经过压缩(我测试上传的文件很小，不排出在大文件的情况下会出现压缩或文件分片的情况)。
这里
有人回答：当从本地向hdfs复制文件时，且本地文件非常大，hdfs是如何存储它的。从文件头开始均匀按块划分，各块均衡地分布存储到集群的各节点上，默认每块大小为64M，而且是完全地存储在DataNode节点上，以文件的形式存在.
我测试的文件存储在/tmp/hadoop-xxxx/dfs/data/current/blk_xxxxxxxxxx
-get dfssrc localdst
下载
-ls
跟bash一样，这时列出的名字即是上传之前的localfile的名字，说明很可能在dfs存储中保存了一个本地文件名字到dfs文件名字的映射。
               
               
               
               

本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u3/99156/showart_2156655.html