探求数据仓库关键环节ETL的本质(转)

innovate511

现在大厂商基本都有实时ETL的模块

hero--008

原帖由 innovate511 于 2008-9-16 18:50 发表
现在大厂商基本都有实时ETL的模块

问老大何为实时ETL啊？？？

innovate511

原帖由 hero--008 于 2008-9-19 21:39 发表

问老大何为实时ETL啊？？？

就是数据源一有变动，就会产生ETL动作，但没有变化，就不会有ETL动作，一般工具是采用读数据库日志的技术

raullew

ETL工具，开发效率低下，运行效率奇低，学习成本极低
所以适合每年走了一茬又一茬、来了一茬又一茬的队伍

hero--008

原帖由 innovate511 于 2008-9-19 22:45 发表

就是数据源一有变动，就会产生ETL动作，但没有变化，就不会有ETL动作，一般工具是采用读数据库日志的技术

哦！学习了！这样的话会对业务系统造成影响吗？也相当于一个增量数据，是吧？一般数据量不是很大？读取数据库日志应该是比较通用的方法。

hero--008

原帖由 raullew 于 2008-9-19 23:03 发表
ETL工具，开发效率低下，运行效率奇低，学习成本极低
所以适合每年走了一茬又一茬、来了一茬又一茬的队伍

哈哈！也不一定哦～比如我们编码久了的话，许多重复的步骤就想封装成一个模块自成一个小工具。主要的是不仅仅学会用他，还要了解他的原理哈～不断推进工具的易用性，健壮性，高效性～

innovate511

原帖由 raullew 于 2008-9-19 23:03 发表
ETL工具，开发效率低下，运行效率奇低，学习成本极低
所以适合每年走了一茬又一茬、来了一茬又一茬的队伍

国际500强企业，包括国内大公司，目前几乎都用工具开发了，而且越是大的企业，他们的核心开发队伍也是要求稳定的，很多一干就是好几年。

innovate511

原帖由 hero--008 于 2008-9-20 13:02 发表


哦！学习了！这样的话会对业务系统造成影响吗？也相当于一个增量数据，是吧？一般数据量不是很大？读取数据库日志应该是比较通用的方法。

会有一定影响，所以要求机器要好。搞及时BI，也得考虑性价比，如果没想好做什么分析，有什么用，一般不会建议上项目。