我有几个问题,请各位专家给予解答,谢谢!
1.Sybase IQ分析服务器实时加载的解决方案是什么?是用Replication Server,还是用在ASE端的触发器,触发load table脚本?希望专家给个思路,谢谢。2.为什么用bcp导数据,ase对ase的速度很快,几万条/秒,而从ase导出的数据文件导入iq则很慢,大概七八百条/秒。这是为什么呢?是iq的相关设置没有设置好吗?盼专家解答?谢谢?
另外用bcp向iq导数据时还会出现数据错位的问题(就是某条记录中的某个字段的数据跑到相邻的字段中,而我设置的数据间隔符也不会和数据冲突的,因为同一个数据文件往ase中导则没有这个问题)。希望专家给与答复,谢谢!
3.load table导入数据。原数据中有空值(该数据中的某个字段为空而不是显示NULL),这个如何导入目标库?谢谢?
[ 本帖最后由 zq5143 于 2008-11-14 13:16 编辑 ] 1、感觉IQ似乎不适合做实时加载
2、应该用load而不是bcp 3,空值可以用set option设置 我来给解答后两个问题试试:
a.数据错位:一般就是你设置的字段分隔符与数据源中的某些列有冲突,特别是像一些带汉字的列,较长的列,数字列是不会出现的,你可以试试换个分隔符,我导数据的时候用的是load table方法,也遇到过这样的问题,换个分隔符看看。
b.数据为空但不为NULL:这应该是该项值为"",即空而非NULL,这个我也遇到过,在程序中可如下操作:
case when 字段="" or is null then '--' else 字段 end as 字段 第二个问题已解决,是间隔符和某些数据冲突的问题,在iq中还是建议用load table方式用文本文件加载数据。字段间隔符和数据行间隔符都建议设置的复杂些,例如'!@*~'等,避免和数据内容冲突。 在IQ里面不要用bcp,实现机理不一样,bcp在iq上效率不好是已知的,应该尽可能地使用load table, 速度比ASE里面的bcp要快得多 3. load table 中有专门处理空值的设置。来判断数据文件中用什么表示NULL。[ NULL ( { BLANKS | ZEROS | 'literal', ... } ) ] , 比如,数据文件中‘’ 表示NULL, 可以使用 NULL('') 来告诉IQ,‘’ 其实是NULL。
页:
[1]