免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 8598 | 回复: 0

Kettle调度现状及解决方法 [复制链接]

论坛徽章:
0
发表于 2017-08-28 11:59 |显示全部楼层
kettle作为非常优秀的开源ETL工具得到了非常广泛的使用,一般的使用的都是使用客户端操作管理,但问题是当投入生产环境使用时,动辄上百或几百个job需要管理,这时在使用客户端管理已经很难完成了。
我所知道的解决方案有用命令行的调用的,操作麻烦,体验很差(基于命令行上构架出来的一般都用Linux的crontab、或者是Windows下用定时器等);还有就是开发web端管理工具,kettle自带了一个web端管理工具,界面极其简陋不说,还很难用,基本无法投入生产环境使用。
上述方法不能满足后,我开始寻求第三方工具,发现其实调度界的产品还是有很多,有Control-M、TASKCTL等专注调度的老牌厂商;有外包项目集成的Moia、ETS、WFT、IBM集成的调度工具;也有开源的Oozie、Zeus、Azkaban。
挨个查看一下资料后,感觉taskctl应该算里面比较简单的,试用后taskctl,还不错,他们家不仅仅对Kettle支持不错,基本上市面上常见的数据库、各种类似的大数据、ETL工具、各种脚本语言都有这不错的支持力度,即使不支持的,也可以自己扩展。
下面是一些在查找资料过程中收集到的帖子,也一并分享个大家。
调度工具中美PK ( TASKCTL VS Control-M): http://www.itpub.net/thread-1756140-1-1.html
说说ETL调度工具TASKCTL的五宗最: http://www.itpub.net/thread-1778332-1-1.html
Taskctl调用kettle的例子:http://www.taskctl.com/forum/detail_67.html
   如果有什么地方说的不对,请大家多多指正,共同学习进步!

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

基于案例的 SQL 优化实战训练营

讲师:中电福富特级专家梁敬彬,参与本次课程培训,你将收获:
1. 能编写出较为高效的 SQL;
2. 能解决70%以上的数据库常见优化问题;
3. 能得到老师提供的高效的相关工具和解决方案;
4. 能举一反三,收获不仅仅是 SQL 优化。
现在购票享受8.8折优惠!
----------------------------------------
优惠时间:2019年3月20日前

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP