zq5143 发表于 2008-11-14 11:32

我有几个问题,请各位专家给予解答,谢谢!

1.Sybase IQ分析服务器实时加载的解决方案是什么?是用Replication Server,还是用在ASE端的触发器,触发load table脚本?希望专家给个思路,谢谢。
2.为什么用bcp导数据,ase对ase的速度很快,几万条/秒,而从ase导出的数据文件导入iq则很慢,大概七八百条/秒。这是为什么呢?是iq的相关设置没有设置好吗?盼专家解答?谢谢?
另外用bcp向iq导数据时还会出现数据错位的问题(就是某条记录中的某个字段的数据跑到相邻的字段中,而我设置的数据间隔符也不会和数据冲突的,因为同一个数据文件往ase中导则没有这个问题)。希望专家给与答复,谢谢!
3.load table导入数据。原数据中有空值(该数据中的某个字段为空而不是显示NULL),这个如何导入目标库?谢谢?

[ 本帖最后由 zq5143 于 2008-11-14 13:16 编辑 ]

chuxu 发表于 2008-11-14 12:24

1、感觉IQ似乎不适合做实时加载
2、应该用load而不是bcp

camham 发表于 2008-11-16 20:14

3,空值可以用set option设置

wokao_laiwanle 发表于 2008-11-18 12:55

我来给解答后两个问题试试:
a.数据错位:一般就是你设置的字段分隔符与数据源中的某些列有冲突,特别是像一些带汉字的列,较长的列,数字列是不会出现的,你可以试试换个分隔符,我导数据的时候用的是load table方法,也遇到过这样的问题,换个分隔符看看。
b.数据为空但不为NULL:这应该是该项值为"",即空而非NULL,这个我也遇到过,在程序中可如下操作:
      case when 字段="" or is null then '--' else 字段 end as 字段

zq5143 发表于 2008-11-19 09:58

第二个问题已解决,是间隔符和某些数据冲突的问题,在iq中还是建议用load table方式用文本文件加载数据。字段间隔符和数据行间隔符都建议设置的复杂些,例如'!@*~'等,避免和数据内容冲突。

donethat 发表于 2008-12-26 10:35

在IQ里面不要用bcp,实现机理不一样,bcp在iq上效率不好是已知的,应该尽可能地使用load table, 速度比ASE里面的bcp要快得多

enjoy-work 发表于 2009-01-05 11:36

3. load table 中有专门处理空值的设置。来判断数据文件中用什么表示NULL。[ NULL ( { BLANKS | ZEROS | 'literal', ... } ) ] , 比如,数据文件中‘’ 表示NULL, 可以使用 NULL('') 来告诉IQ,‘’ 其实是NULL。
页: [1]
查看完整版本: 我有几个问题,请各位专家给予解答,谢谢!