论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2011-12-22 08:52 |只看该作者 |倒序浏览

<DIV>    最近学习Hadoop，可以使用命令行来简单的管理Hadoop，例如使用：</DIV>
<DIV>
<DIV style="WIDTH: 92.94%; HEIGHT: 122px" id=codeText class=codeText>
<OL style="PADDING-BOTTOM: 5px; MARGIN: 0px 1px 0px 0px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; PADDING-TOP: 5px" class=dp-css>
<LI>#查看hadoop的HDFS根节点情况</LI>
<LI>hadoop fs -ls /</LI>
<LI></LI>
<LI>#创建文件夹LGG</LI>
<LI>hadoop fs mkdir /user/root/LGG</LI></OL></DIV></DIV>
<DIV>通过命令行接口来进行操作。</DIV>
<DIV>    当然，hadoop命令行接口同样支持自己编写的类的参数，例如在Hadoop权威指南中的一个例子如下：</DIV>
<DIV>
<DIV id=codeText class=codeText>
<OL style="PADDING-BOTTOM: 5px; MARGIN: 0px 1px 0px 0px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; PADDING-TOP: 5px" class=dp-css>
<LI>import java.io.InputStream; </LI>
<LI>import java.net.URL; </LI>
<LI>import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; </LI>
<LI>import org.apache.hadoop.io.IOUtils; </LI>
<LI> </LI>
<LI>/** </LI>
<LI> * </LI>
<LI> * @author LGG </LI>
<LI> * </LI>
<LI> */ </LI>
<LI>public class URLCat { </LI>
<LI>    static{ </LI>
<LI>        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); </LI>
<LI>    } </LI>
<LI>    public static void main(String[] args) throws Exception{ </LI>
<LI>        InputStream in = null; </LI>
<LI>        try{ </LI>
<LI>            in = new URL(args[0]).openStream(); </LI>
<LI>            IOUtils.copyBytes(in, System.out, 4096,false); </LI>
<LI>        }finally{ </LI>
<LI>            IOUtils.closeStream(in); </LI>
<LI>        } </LI>
<LI>    } </LI>
<LI>}</LI></OL></DIV></DIV>
<DIV>    将URLCat.java编译后生成class文件，然后可以将此类作为一个hadoop命令行接口的参数进行使用，如下：
<DIV id=codeText class=codeText>
<OL style="PADDING-BOTTOM: 5px; MARGIN: 0px 1px 0px 0px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; PADDING-TOP: 5px" class=dp-css>
<LI>hadoop URLCat hdfs://localhost/user/tom/readme.txt</LI></OL></DIV></DIV>
<DIV>作用是将HDFS文件里面的readme.txt输出到System.out中，就是标准输出。但是在执行的时候会报以下错误：</DIV>
<DIV>
<DIV id=codeText class=codeText>
<OL style="PADDING-BOTTOM: 5px; MARGIN: 0px 1px 0px 0px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; PADDING-TOP: 5px" class=dp-css>
<LI>Exception in thread "main" java.lang.NoClassDefFoundError: URLCat </LI>
<LI>Caused by: java.lang.ClassNotFoundException: URLCat </LI>
<LI>    at java.net.URLClassLoader$1.run(URLClassLoader.java:217) </LI>
<LI>    at java.security.AccessController.doPrivileged(Native Method) </LI>
<LI>    at java.net.URLClassLoader.findClass(URLClassLoader.java:205) </LI>
<LI>    at java.lang.ClassLoader.loadClass(ClassLoader.java:321) </LI>
<LI>    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294) </LI>
<LI>    at java.lang.ClassLoader.loadClass(ClassLoader.java:266) </LI>
<LI>Could not find the main class: URLCat. Program will exit.</LI></OL></DIV></DIV>
<DIV>这个异常是典型的类装入问题的异常，异常表明在类装入的过程中，没有找到URLCat这个类的定义。于是LGG查阅了相关资料，发现hadoop脚本执行的时候，classpath的搜索路径默认会在当前系统变量$HADOOP_CLASSPATH中去寻找，于是echo查看之，发现竟然显示为空！</DIV>
<DIV>    问题找到了，因为系统指定了classpath，所以回去这个环境变量中去寻找，但是在当前路径下找不到类URLCat（废话，都是空的了）。使用export命令就可以解决了：</DIV>
<DIV>
<DIV id=codeText class=codeText>
<OL style="PADDING-BOTTOM: 5px; MARGIN: 0px 1px 0px 0px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; PADDING-TOP: 5px" class=dp-css>
<LI>#.表示当前目录，即类所在目录，只有这样才能让hadoop找到这个类</LI>
<LI></LI>
<LI>export HADOOP_CLASSPATH=.</LI></OL></DIV></DIV>
<DIV>然后再执行：</DIV>
<DIV>
<DIV id=codeText class=codeText>
<OL style="PADDING-BOTTOM: 5px; MARGIN: 0px 1px 0px 0px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; PADDING-TOP: 5px" class=dp-css>
<LI>hadoop URLCat hdfs://localhost/user/tom/readme.txt</LI></OL></DIV></DIV>
<DIV>就搞定了~~</DIV>
<DIV> </DIV>
<DIV> </DIV>
<DIV> </DIV>
<DIV> </DIV>

文库|博客

返回列表

Chinaunix › 论坛 › 数据库技术 › NoSQL技术 › Hadoop命令行接口运行自己编写的类

[Hadoop&HBase] Hadoop命令行接口运行自己编写的类 [复制链接]

浏览过的版块