免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2937 | 回复: 6
打印 上一主题 下一主题

我有几个问题,请各位专家给予解答,谢谢! [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2008-11-14 11:32 |只看该作者 |倒序浏览
1.Sybase IQ分析服务器实时加载的解决方案是什么?是用Replication Server,还是用在ASE端的触发器,触发load table脚本?希望专家给个思路,谢谢。
2.为什么用bcp导数据,ase对ase的速度很快,几万条/秒,而从ase导出的数据文件导入iq则很慢,大概七八百条/秒。这是为什么呢?是iq的相关设置没有设置好吗?盼专家解答?谢谢?
另外用bcp向iq导数据时还会出现数据错位的问题(就是某条记录中的某个字段的数据跑到相邻的字段中,而我设置的数据间隔符也不会和数据冲突的,因为同一个数据文件往ase中导则没有这个问题)。希望专家给与答复,谢谢!
3.load table导入数据。原数据中有空值(该数据中的某个字段为空而不是显示NULL),这个如何导入目标库?谢谢?

[ 本帖最后由 zq5143 于 2008-11-14 13:16 编辑 ]

论坛徽章:
1
2017金鸡报晓
日期:2017-01-10 15:19:56
2 [报告]
发表于 2008-11-14 12:24 |只看该作者
1、感觉IQ似乎不适合做实时加载
2、应该用load而不是bcp

论坛徽章:
0
3 [报告]
发表于 2008-11-16 20:14 |只看该作者
3,空值可以用set option设置

论坛徽章:
0
4 [报告]
发表于 2008-11-18 12:55 |只看该作者
我来给解答后两个问题试试:
a.数据错位:一般就是你设置的字段分隔符与数据源中的某些列有冲突,特别是像一些带汉字的列,较长的列,数字列是不会出现的,你可以试试换个分隔符,我导数据的时候用的是load table方法,也遇到过这样的问题,换个分隔符看看。
b.数据为空但不为NULL:这应该是该项值为"",即空而非NULL,这个我也遇到过,在程序中可如下操作:
      case when 字段="" or is null then '--' else 字段 end as 字段

论坛徽章:
0
5 [报告]
发表于 2008-11-19 09:58 |只看该作者
第二个问题已解决,是间隔符和某些数据冲突的问题,在iq中还是建议用load table方式用文本文件加载数据。字段间隔符和数据行间隔符都建议设置的复杂些,例如'!@*~'等,避免和数据内容冲突。

论坛徽章:
0
6 [报告]
发表于 2008-12-26 10:35 |只看该作者
在IQ里面不要用bcp,实现机理不一样,bcp在iq上效率不好是已知的,应该尽可能地使用load table, 速度比ASE里面的bcp要快得多

论坛徽章:
0
7 [报告]
发表于 2009-01-05 11:36 |只看该作者
3. load table 中有专门处理空值的设置。来判断数据文件中用什么表示NULL。[ NULL ( { BLANKS | ZEROS | 'literal', ... } ) ] , 比如,数据文件中‘’ 表示NULL, 可以使用 NULL('') 来告诉IQ,‘’ 其实是NULL。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP