通过Docker快速部署启动Apache Hadoop及Cloudera

精灵云

本文来源：Ghostcloud原创

玩Apache Hadoop和Cloudera的人可能都知道QuickStart VM，但是大家可能还不知道，Docker也可以作为快速启动项来部署启动Apache Hadoop和Cloudera，而且速度要比其他启动方式更快。

说到QuickStart VM，大家可能都很熟了，从本质上来说QuickStart VM就是一个包含了分布式数据处理平台的虚拟镜像。一开始的时候QuickStart VM只是一个demo环境，但后来发展得很火，用途也变得非常广，不管是开发人员，客户，还是合作企业，很多都在用QuickStart VM。我总结了一下，现在QuickStart VM的用途主要是在这几个方面：
 
·方便用户试运行CDH，并了解CDH的新功能、新组件
·因为可以很方便地部署Hadoop，所以经常被新手拿来练手
·用来做持续集成、API测试等等
·用户有新想法或者新应用的时候，可以用QuickStart VM做模拟运行环境
·用户可以把自己的软件部署在QuickStart VM里面进行演示
 
QuickStart VM包括VMware、VirtualBox、KVM（这个可以作为磁盘镜像来用）几个类别，当然还有其他一些格式，这几种虚拟化平台都是早就开放给大家使用了。不过随着Docker之类的容器技术越来越火，很多运维人员都开始尝试用新技术来替代传统的VM镜像，让应用的部署更简便。
 
在这种情况下，Cloudera QuickStart Docker镜像就应运而生了。对于Docker用户来说，这个镜像是非常轻量的，而且用起来也很方便，不用的时候可以随时销毁，不管是用于技术学习也好，用来实现产品创意也好，还是做规模测试前期的持续集成也好，Cloudera QuickStart Docker镜像都是很好用的（但是在投入产品环境之前，最好还是先放到一个更贴近真实情况的测试环境里面跑一下）。
 
Docker跟传统的虚拟化平台还是有很多不一样的地方，比方说，Docker可以在Linux平台上运行容器，传统的虚拟机只能提供对硬件的模拟，要不然就是把对硬件资源的访问隔离开来，好让用户运行客机操作系统，但是容器就不一样了，容器从本质上说就是主机操作系统的一个进程，每个容器都有自己的一套文件系统，也有自己的资源，但一台主机上的所有容器都是运行在同一个Linux内核上的，这一点跟BSD jail和Solaris zone很像。
 
入门教程
这次发布的Docker镜像（现在还只是Beta版）跟QuickStart VM一样，都包含了CDH，大家可以自己安装Cloudera Manager免费版，当然也可以装Cloudera Enterprise的60天试用版。大家可以设置Docker映射的端口，这里我设的是主机的80端口，大家也可以这样设置，然后在浏览器里访问这个端口，登进去以后应该可以看到镜像里面提供的详细的教程，还有测试用的示例数据。
 
装好Docker以后，运行下面的命令就可以下载镜像然后跑容器了：

大家要是还有什么问题的话，可以到Docker Hub上去找相关的文献，另外镜像也可以在Docker Hub上下载。
 
QuickStart Docker镜像发布以后，在传统的桌面虚拟机和基于AWS的demo集群(Cloudera Live)之外，大家也可以选择Docker镜像来运行Apache Hadoop和Cloudera平台，具体选哪个就看大家的需求了，总之就是选择面更广，用户的自主空间更大。