免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 3778 | 回复: 25
打印 上一主题 下一主题

请教informix装数问题 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2003-11-03 17:46 |只看该作者 |倒序浏览
数据都是几百M的,都以txt文本存在,用的是默认分隔符'|'.请问informix下有什么好的装数工具或者方法?如果用"load from"来做的话,当文本当中有非法数据的时候就会异常退出,后面的数据就没办法再装了.在oracle里面,可以SQLLDR来执行ctl,当异常数据出现的时候会记log,继续往下面装数.请问有什么方法在informix下面实现这样的效果?
谢谢

论坛徽章:
0
2 [报告]
发表于 2003-11-03 19:35 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
1
荣誉版主
日期:2011-11-23 16:44:17
3 [报告]
发表于 2003-11-03 21:42 |只看该作者

请教informix装数问题

“当文本当中有非法数据的时候就会异常退出”
你的“非法数据”指的是什么?
字段数不尽相同(有出入)?还是包含不可见字符?

论坛徽章:
0
4 [报告]
发表于 2003-11-04 00:53 |只看该作者

请教informix装数问题

在informix中对于大数据量的倒入一般使用dbload,使用load from会造成长事物回滚。

论坛徽章:
1
荣誉版主
日期:2011-11-23 16:44:17
5 [报告]
发表于 2003-11-04 08:55 |只看该作者

请教informix装数问题

onunload和onload速度比较快,倒入数据这样的大量insert动作当然是ontape -s -N database,然后再装载,否则,造成长事务失败。

论坛徽章:
0
6 [报告]
发表于 2003-11-04 09:25 |只看该作者

请教informix装数问题

原帖由 "admirer" 发表:
“当文本当中有非法数据的时候就会异常退出”
你的“非法数据”指的是什么?
字段数不尽相同(有出入)?还是包含不可见字符?


字段数不尽相同.现在的情况是装到40多万的时候报错.

论坛徽章:
0
7 [报告]
发表于 2003-11-04 09:28 |只看该作者

请教informix装数问题

[quote]原帖由 "9415019"]在informix中对于大数据量的倒入一般使用dbload,使用load from会造成长事物回滚。[/quote 发表:

dbload有点象我说的ORACLE的用法.我正在试用.

论坛徽章:
0
8 [报告]
发表于 2003-11-04 09:29 |只看该作者

请教informix装数问题

[quote]原帖由 "蓝色键盘"]onunload和onload速度比较快,倒入数据这样的大量insert动作当然是ontape -s -N database,然后再装载,否则,造成长事务失败。[/quote 发表:


老兄能说得详细点吗?谢谢:)

论坛徽章:
1
荣誉版主
日期:2011-11-23 16:44:17
9 [报告]
发表于 2003-11-04 10:36 |只看该作者

请教informix装数问题

可以先这样作,用awk过滤出那些合法的记录,分批insert到库里然后过滤出包含非法数据的记录,修正错误后在行导入。
  1. cat file.txt|awk -F"|" 'NF==your_record_include_filed_number' >;newfile.txt
复制代码
  1. cat file.txt|awk -F"|" 'NF!=your_record_include_filed_number' >;err_record_file.txt
复制代码

论坛徽章:
11
数据库技术版块每日发帖之星
日期:2016-06-25 06:20:00数据库技术版块每日发帖之星
日期:2016-06-24 06:20:00数据库技术版块每日发帖之星
日期:2016-05-03 06:20:00数据库技术版块每日发帖之星
日期:2016-04-21 06:20:00数据库技术版块每日发帖之星
日期:2016-01-23 06:20:00数据库技术版块每日发帖之星
日期:2015-12-03 06:20:00综合交流区版块每周发帖之星
日期:2015-12-02 15:03:53数据库技术版块每日发帖之星
日期:2015-10-19 06:20:00数据库技术版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15数据库技术版块每日发帖之星
日期:2016-07-30 06:20:00
10 [报告]
发表于 2003-11-04 11:04 |只看该作者

请教informix装数问题

可以试下~~~
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP