日志记录的解析问题

子樵

单位最近有一些需求,我在做一些设计.其中有一些想法想和大家讨论一下看看实现的难度和可行性.
总体目标:将400上的PF在PC平台实现数据同步,不需要实时同步,日同步可以了.
数据量:目前基本上400 PF的最高数据量是在百万级的,部分PF每日增量在万级,日后增长量会增加但不会到10万级.
目前的解决方案,使用SQL,FTP等技术直接实现数据筛选,然后进行抽取同步,带来的问题是由于业务逻辑的问题,抽取后同步时无法做到数据完全一致.同时一些使用SQL更改或插入的数据是无法利用业务逻辑完成的.
所以我考虑使用日志做为新的解决方案.这个方案应该是一个比较通用的解决方案了现在一些双机热备都是使用这样的方案.,不过不好意思的说我还没做过这样的项目,有些技术细节还请大家帮忙.
1.如何解析400的日志信息.解析这部分信息是必须在400处理还是可以在PC端解决.关于日志的部分看哪本书里介绍的比较全.
2.如果可以在PC端解析,那么日志的分拆和下传如何实现
现在好多东西还都是有想法没方案,知道可以做不知怎么做,还请大家给些概念.

jance

我不会，但是希望你能在最终实施之后，弄个文档，传上来，让我学习学习，呵呵，先谢谢了并祝你成功！

xuguopeng

我们是在每天批次作业完毕后,利用SQL SERVER的DTS将400的数据抽取下来,但我们抽取的数据量不是很大,所以没有过一夜也传不完的情况.

读取日志到不难,主要是如何分析并传送.............期待高见.....

子樵

其实不是量大小的问题.而是1.有些业务不是单独增加的,修改的记录如何用业务逻辑同步是很容易出错的.2.后台认为使用的SQL的一些操作很难通过PF识别出来,这个会造成同步异常,所以才想到用日志.

blogliou

把400上日志传到PC机备份,需要时再把日志从PC传回400恢复,这是可以的,上海某公司就有这么一个现成产品. 至于要把数据解析出来写到PC的表上,关键看物理表的RRN是否对应.

[ 本帖最后由 blogliou 于 2006-8-7 15:06 编辑 ]

子樵

谢谢各位了.很久没露头了,最近比较闲,可以关心些技术问题了.过几天就又该潜水了.呵呵.
说实话这个问题想了很久了,第三方软件也是考虑的,只是一直觉得解析日志和根据日志同步应该是个比较成熟的技术了.热备的卖点其实是是如何及时恢复处理,这个虽然是核心但如果对时效要求不高应该可以试试.
其实说实话这块我也不会 .

xuguopeng

我觉得不应该是把JRN复制到PC,而应该是在400端对JRN ENTRY分析完后的结果传到PC上,然后执行相应的增删改操作.这样难度应该会小一些吧

大胆假设一下:
先RTVJRNE,然后根据JRN的操作CODE来判断是什么操作,然后根据更新前后的数据对比来生成SQL语句并传到SQL SERVER,最后在SQL SERVER执行更新

关键是分析JRN ENTRY,这块难度应该不小........

这些想法只针对于数据的操作,对OBJ的增删改是不起作用的........

而且LZ所说的只是单向的同步? 还是双向的?

[ 本帖最后由 xuguopeng 于 2006-8-8 16:21 编辑 ]

zyzng

用trigger可以吗？比如sql server或db2/400每新加一笔就同步对方

子樵

目前的设计只是简单的单向数据同步.我需要将400上的业务数据提供给下面的数据仓库使用.一般情况下从PC向400同步是很少的,因为这种数据插入必须是经过业务逻辑验证后的,否则很难解决数据关联问题.
日志这块我技术上不过关,说个想法.
在400上分拆日志记录,并过滤解析(这个是现在最头痛的根本就不懂),然后一定的格式存入PF(这点和GUOPENG 的想法有点不同),FTP 此PF到PC,
PC端根据PF的记录在对应的DATA SET中处理记录.PC的DATA SET和400上的同步PF的格式和数据顺序应该是一致的.

xuguopeng

存入PF我觉得不是太好,只要记录JRN ENTRY的sequence number号做为CHECK POINT就好了,如果存入PF势必会对性能造成很大影响,而且这个PF将无比巨大.

如果是按照这种做法的话,根本就没有必要用JRN去实现了,只要机器够强,干脆给所有PF加上触发器, 这样就不用费劲去琢磨怎么分析JRN ENTRY了

如果用JRN去实现,其实我觉得关键是怎么读取实际的数据,我用DSPJRN找到UPDATE前后的ENTRY,进入根本看不到实际的数据(有的是看不懂,有的是乱码),但却能用他进行恢复,400系统可以识别这些ENTRY,但PC肯定就不行了..........

这里没有对MIMIX或OMS比较熟的人么? 出来讲解一下