免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 21061 | 回复: 0

通过Docker快速部署启动Apache Hadoop及Cloudera [复制链接]

论坛徽章:
2
操作系统版块每日发帖之星
日期:2016-06-10 06:20:00IT运维版块每日发帖之星
日期:2016-07-16 06:20:00
发表于 2016-06-08 15:37 |显示全部楼层

本文来源:Ghostcloud原创

玩Apache Hadoop和Cloudera的人可能都知道QuickStart VM,但是大家可能还不知道,Docker也可以作为快速启动项来部署启动Apache Hadoop和Cloudera,而且速度要比其他启动方式更快。
1.png





说到QuickStart VM,大家可能都很熟了,从本质上来说QuickStart VM就是一个包含了分布式数据处理平台的虚拟镜像。一开始的时候QuickStart VM只是一个demo环境,但后来发展得很火,用途也变得非常广,不管是开发人员,客户,还是合作企业,很多都在用QuickStart VM。我总结了一下,现在QuickStart VM的用途主要是在这几个方面:

·方便用户试运行CDH,并了解CDH的新功能、新组件
·因为可以很方便地部署Hadoop,所以经常被新手拿来练手
·用来做持续集成、API测试等等
·用户有新想法或者新应用的时候,可以用QuickStart VM做模拟运行环境
·用户可以把自己的软件部署在QuickStart VM里面进行演示

QuickStart VM包括VMware、VirtualBox、KVM(这个可以作为磁盘镜像来用)几个类别,当然还有其他一些格式,这几种虚拟化平台都是早就开放给大家使用了。不过随着Docker之类的容器技术越来越火,很多运维人员都开始尝试用新技术来替代传统的VM镜像,让应用的部署更简便。

在这种情况下,Cloudera QuickStart Docker镜像就应运而生了。对于Docker用户来说,这个镜像是非常轻量的,而且用起来也很方便,不用的时候可以随时销毁,不管是用于技术学习也好,用来实现产品创意也好,还是做规模测试前期的持续集成也好,Cloudera QuickStart Docker镜像都是很好用的(但是在投入产品环境之前,最好还是先放到一个更贴近真实情况的测试环境里面跑一下)。

Docker跟传统的虚拟化平台还是有很多不一样的地方,比方说,Docker可以在Linux平台上运行容器,传统的虚拟机只能提供对硬件的模拟,要不然就是把对硬件资源的访问隔离开来,好让用户运行客机操作系统,但是容器就不一样了,容器从本质上说就是主机操作系统的一个进程,每个容器都有自己的一套文件系统,也有自己的资源,但一台主机上的所有容器都是运行在同一个Linux内核上的,这一点跟BSD jail和Solaris zone很像。

入门教程
这次发布的Docker镜像(现在还只是Beta版)跟QuickStart VM一样,都包含了CDH,大家可以自己安装Cloudera Manager免费版,当然也可以装Cloudera Enterprise的60天试用版。大家可以设置Docker映射的端口,这里我设的是主机的80端口,大家也可以这样设置,然后在浏览器里访问这个端口,登进去以后应该可以看到镜像里面提供的详细的教程,还有测试用的示例数据。

装好Docker以后,运行下面的命令就可以下载镜像然后跑容器了:
2.png





大家要是还有什么问题的话,可以到Docker Hub上去找相关的文献,另外镜像也可以在Docker Hub上下载。

QuickStart Docker镜像发布以后,在传统的桌面虚拟机和基于AWS的demo集群(Cloudera Live)之外,大家也可以选择Docker镜像来运行Apache Hadoop和Cloudera平台,具体选哪个就看大家的需求了,总之就是选择面更广,用户的自主空间更大。




docker, 容器, 云计算, 企业服务
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP