忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 3032 | 回复: 0

Kettle调度现状及解决方法 [复制链接]

论坛徽章:
0
发表于 2017-08-28 11:59 |显示全部楼层
kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操作管理,但问题是当投入生产环境使用时,动辄上百或几百个job需要管理,这时在使用客户端管理已经很难完成了。
我所知道的解决方案有用命令行的调用的,操作麻烦,体验很差(基于命令行上构架出来的一般都用Linux的crontab、或者是Windows下用定时器等);还有就是开发web端管理工具,kettle自带了一个web端管理工具,界面极其简陋不说,还很难用,基本无法投入生产环境使用。
上述方法不能满足后,我开始寻求第三方工具,发现其实调度界的产品还是有很多,有Control-M、TASKCTL等专注调度的老牌厂商;有外包项目集成的Moia、ETS、WFT、IBM集成的调度工具;也有开源的Oozie、Zeus、Azkaban。
挨个查看一下资料后,感觉taskctl应该算里面比较简单的,试用后taskctl,还不错,他们家不仅仅对Kettle支持不错,基本上市面上常见的数据库、各种类似的大数据、ETL工具、各种脚本语言都有这不错的支持力度,即使不支持的,也可以自己扩展。
下面是一些在查找资料过程中收集到的帖子,也一并分享个大家。
调度工具中美PK ( TASKCTL VS Control-M): http://www.itpub.net/thread-1756140-1-1.html
说说ETL调度工具TASKCTL的五宗最: http://www.itpub.net/thread-1778332-1-1.html
Taskctl调用kettle的例子:http://www.taskctl.com/forum/detail_67.html
   如果有什么地方说的不对,请大家多多指正,共同学习进步!

您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:wangnan@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP