免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3270 | 回复: 7
打印 上一主题 下一主题

INFORMIX上大表更新时遇到一个问题(已解决) [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2009-09-14 17:36 |只看该作者 |倒序浏览
由于工作需要,对一张表更新字段,表数据量大概在4,500W左右,为避免长事务,
我写了个EC,用的UPDATE游标,采用分段COMMIT的方式,每5000条提交一次,
在测试环境执行时,发现随着提交批数的累积,处理的速度越来越慢,更新的字段没有建立索引。
我想知道是什么原因造成的,应该如何解决?
我写了日志,跟踪每一次处理时间,大概每50批后,处理的时间会明显增长:
第[1]批修改数据已提交,耗时[3.0000]秒
...
第[50]批修改数据已提交,耗时[5.0000]秒
...
第[100]批修改数据已提交,耗时[6.0000]秒
...
第[150]批修改数据已提交,耗时[8.0000]秒
...
第[200]批修改数据已提交,耗时[10.0000]秒
...
第[250]批修改数据已提交,耗时[12.0000]秒
...
第[300]批修改数据已提交,耗时[16.0000]秒
...

请教各位了!

[ 本帖最后由 cooljean2008 于 2009-9-15 14:33 编辑 ]

论坛徽章:
0
2 [报告]
发表于 2009-09-15 12:03 |只看该作者
我也遇到同样的问题,希望哪位高手指点一下,我用的是IDS 11.5 UC5 ,操作系统为CentOS 5.3 x86版本。

论坛徽章:
0
3 [报告]
发表于 2009-09-15 14:02 |只看该作者
已找到问题所在,总结来了:
由于每次提交事务后,总是要重新OPEN游标(DECLARE时加入了WHERE条件),导致处理速度越来越慢。
将游标改成with hold方式就可以了,只OPEN一次,事务提交后游标仍然可以使用,这样每批的更新速度大致都在一个稳定时间段内。

论坛徽章:
0
4 [报告]
发表于 2009-09-15 15:24 |只看该作者
楼上能不能讲详细一些?我是使用dbaccess倒入数据的,该如何设置呢?

论坛徽章:
5
荣誉会员
日期:2011-11-23 16:44:17CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-09-18 15:15:45未羊
日期:2014-02-25 14:37:19射手座
日期:2014-12-26 22:55:37
5 [报告]
发表于 2009-09-15 15:38 |只看该作者
dbaccess导入先lock table in shared mode,就可以了。
真要提高速度,应该用HPLOAD,而且暂时关闭日志。

论坛徽章:
0
6 [报告]
发表于 2009-09-15 15:43 |只看该作者
多谢,我先试试看。

论坛徽章:
0
7 [报告]
发表于 2009-09-16 16:05 |只看该作者
虽然比以前快了一些,感觉还是比较慢,尽管我启用了行压缩。

论坛徽章:
11
金牛座
日期:2015-03-19 16:56:22数据库技术版块每日发帖之星
日期:2016-08-02 06:20:00数据库技术版块每日发帖之星
日期:2016-04-24 06:20:00数据库技术版块每日发帖之星
日期:2016-04-13 06:20:00IT运维版块每日发帖之星
日期:2016-04-13 06:20:00数据库技术版块每日发帖之星
日期:2016-02-03 06:20:00数据库技术版块每日发帖之星
日期:2015-08-06 06:20:00季节之章:春
日期:2015-03-27 15:54:57羊年新春福章
日期:2015-03-27 15:54:37戌狗
日期:2015-03-19 16:56:41数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
8 [报告]
发表于 2009-09-17 10:06 |只看该作者
原帖由 wolfop 于 2009-9-15 15:38 发表
dbaccess导入先lock table in shared mode,就可以了。
真要提高速度,应该用HPLOAD,而且暂时关闭日志。

HPL 不需要关闭日志功能~~因为它自己会把表改为只读,且写很少的日志...
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP