免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 6184 | 回复: 5

请教:datastage Transformer执行超级慢 [复制链接]

论坛徽章:
0
发表于 2009-01-08 20:49 |显示全部楼层
请教, 我刚刚接触DATASTAGE, 从一个文本文件加载数据到数据库, 全量入库, 源文件大概120字段,  源文件定长,无分隔符,目标36个字段,通过Transformer过滤转换字段, 目标库先清空了的。我执行速度超级猛,测试发现数据记录一旦超过1800,急卡住了, 在读文件就卡住了,哎呀,不知道怎么回事。
还有写入模式不能采用 LOAD,TRUNCATA的模式,所以就采用了UPINESRT,
每个字段都用了TRIM(),
有没有大侠救救呢,急
非常感激!!

论坛徽章:
0
发表于 2009-01-13 09:07 |显示全部楼层
不熟悉DATASTAGE,帮顶

论坛徽章:
0
发表于 2009-01-15 17:02 |显示全部楼层
你这个方式加载有问题,与数据库交互太多,用Update模式本身也慢,能否把你的文本文件load到一个临时表,之后进行你规则处理
记住原则,尽可能少的与数据库交换

论坛徽章:
0
发表于 2009-01-17 14:08 |显示全部楼层
通过代理键,判别insert or update.
datstage ee or se?

论坛徽章:
0
发表于 2009-03-04 15:19 |显示全部楼层
看看运行环境

论坛徽章:
0
发表于 2009-03-11 16:41 |显示全部楼层
运行文件多了
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP