谁懂informix日志分析? 指教一二

zwzc28

  因为工作需要， 要取数据库每日的增量而又要求效率， 想试试看能不能通过分析informix日志的方式来实现。 日志结构相关的资料请问谁有？

wstar

lz的想法很好，但是不容易实现。太复杂。

zzjijun

原帖由 zwzc28 于 2008-7-28 15:15 发表
谢谢， 我主要是想通过解析日志把新增、 删除、 更新的数据取出来。  所以想知道日志的详细结构。

除了通过onlog，日志结构是不公开的。而且每个新版本日志结构都有可能改变。

除非想做通用的日志分析软件，否则在应用层实现增量数据的捕获更容易。

jily_cunix

onlog日志举例：
addr     len  type     xid      id link   
978474   48   BEGIN    47       1808 0        07/24/2008 07:34:22 11948901 ctd
9784a4   120  HINSERT  47       0  978474   207156   3410     69
97851c   56   ADDITEM  47       0  9784a4   207157   3410     11    1     4   
978554   48   COMMIT   47       0  97851c   07/24/2008 07:34:22

其中内容：
BEGIN......COMMIT
    一个完整事务，同一事务的xid是一致。BEGIN行中有起始时间及访问数据库所用的用户名
207156
    这是一个16进制的partnum值，与用户访问的数据库systables表中partnum值对应，但此表中partnum是十进制的，需要做相应转换
HINSERT
    写入一条记录，如果有索引字段，则在HINSERT行后会有一个或多个ADDITEM行

注意：
1. 一个事物内可插入或删除多条记录
2.  需确认增量统计的周期要比逻辑日志切换一圈的周期小，否则统计无效

建议不要用分析逻辑日志的方式，我认为你的增量统计应该只是针对几个表，因此还是在应用软件侧增加功能，即对那几个表的所有insert delete操作成功后均写入日志表，之后对日志表进行统计。

cdcd007

rowid并不可取，rowid的内容是
0x000001     1D
页号          页中的行地址
如果在这个定时时段之前被插入的数据在定时时段内被删除，之后再插入一行新的数据，那么这行新数据有可能使用被删除那行数据的rowid，根据rowid区分的时候，会丢掉这行新插入的数据。

george002

原帖由 cdcd007 于 2008-7-28 15:56 发表
两种对数据库影响很大的方案：

第一、在表上建时间列，每个操作需要更新时间列；一段时间以后卸出增量数据。
第二、建触发器+存储过程，负荷高时会拖死数据库服务器。

以前做得一个定时取新增数据的，根据最后的rowid来区分。

george002

原帖由 cdcd007 于 2008-7-28 21:15 发表
14楼正解 要不取增量数据的软件就不值钱了

要不怎么值钱呢

cdcd007

14楼正解 要不取增量数据的软件就不值钱了

zwzc28

那么取增量数据难道要去从chunk里取吗？  呵呵， 那可麻烦了。

cdcd007

用onlog取不到增量数据，只能看到所作的操作