免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 7358 | 回复: 13
打印 上一主题 下一主题

[分享] [转载]Goldengate数据集成探秘 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2009-09-14 13:34 |只看该作者 |倒序浏览
转载自IT爱好者博客:
http://blog.ccidnet.com/blog.php ... &itemid=3119989


真是好消息啊!Oracle最近又宣布收购goldengate了,这样一来Oracle得数据集成功能就更强大了。这对于众多DBA来说,真是值得庆幸的事情。


不过,goldengate到底如何实现数据集成呢?嘿嘿,恰恰我之前研究过goldengate的技术,今儿就和大家来分享一下,从技术上对goldengate的具体实现机制来做一个简单的分析。欢迎大家拍砖啊!


首先我们看下面这张图:





GoldenGate的数据集成技术实施主要含三个主要进程:


1.数据抽取进程:该进程一般部署在源系统数据库所在的服务器上,如果源系统有standby系统,有时也可以部署在standby系统上(当源系统不允许部署时),goldengate可以通过读取分析数据库的在线日志或者归档日志将变化数据取出,存储到一个队列文件中,该文件根据系统配置的不同,可以在源,也可以在目标,或者两边都有,一般建议在源上一个,目标上一个,具体原因以后我们再分析。goldengate当然也可以通过trigger的方式获得变化数据,但如果通过trigger,就和其它工具没啥分别了,我自己也可以通过trigger写个程序抓变化数据,目前Goldengate支持通过日志抓取变化数据的数据库包括:
Oracle,DB2(包括开放系统和大机),sqlserver,Sybase,Ingres,当然Goldengate也提供了一套API对用户开放,用户可以自己负责抓取,然后通过Goldengate进行数据同步。


2.传输进程,该进程一般在源数据库所在的服务器上,负责将源数据库数据抽取进程分析出的变化数据从队列文件中取出,复制到远程目标数据库的队列文件,在传输的过程中,该进程可以对数据进行压缩,加密(视客户的要求而定,毕竟压缩,加密,再解开很浪费时间)。如果进行一对多的数据分发,传输进程可以配置多个,如下图:





3.应用进程,也叫replicate进程,它部署在目标服务器上,从目标服务器的队列文件中读取变化数据,然后写入目标数据库。
在goldengate中,数据抽取进程、传输进程和replicate进程通过队列文件实现了松耦合,


这样可以通过不同的排列组合,实现各种各样的用户场景,如多级分发、多级上传等等。具体的配置以后再聊。


Goldengate数据集成的流程就是这个样子,个人感觉还是比较方便,大家有什么问题,可以在这里讨论一下。


关于Oracle 的中间件有很多新资料现在可以在官网下载,还有官方提供的试用软件,大家可以多到那里看看:http://wmdata.com.cn/oracle/iwom-ofm2/index.asp?frm=2

论坛徽章:
0
2 [报告]
发表于 2009-09-14 22:39 |只看该作者
关注的,还是他的兼容性和业务的延续性

论坛徽章:
0
3 [报告]
发表于 2009-09-14 22:40 |只看该作者
其实各种数据集成模式无所谓好坏,关键是看业务需求,只要能够满足业务需求就够了
感动 该用户已被删除
4 [报告]
发表于 2009-09-14 22:43 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
感动 该用户已被删除
5 [报告]
发表于 2009-09-14 22:44 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
6 [报告]
发表于 2009-09-14 22:45 |只看该作者
.楼主很懂技术啊,感谢分享

论坛徽章:
0
7 [报告]
发表于 2009-09-17 17:06 |只看该作者
多级分发、多级上传算是Goldengate的一大优势吧!

论坛徽章:
0
8 [报告]
发表于 2009-09-17 17:08 |只看该作者
双向复制那就不是一般化的强大啦!比起单项复制要牛得多哦。

论坛徽章:
0
9 [报告]
发表于 2009-09-17 17:12 |只看该作者
原帖由 伟大的遗产 于 2009-9-17 17:08 发表
双向复制那就不是一般化的强大啦!比起单项复制要牛得多哦。


那是当然,不然你以为甲骨文为什么会收购它呢?

论坛徽章:
0
10 [报告]
发表于 2009-09-17 18:35 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP