请教各位高手:如何高效插入上亿条记录?

xud6666

各位老大：
    有一个表,因原表结构损坏,已经BCP OUT数据了,分为5个文本文件,每一个都有4千万以上的记录。现在已经重建表及约束、索引，如何能高效插入文本文件里的记录？

hobbylu

去掉约束索引

hobbylu

多个表分区，bcp分段导入

xud6666

这两种方法都不是很好,二楼的方法去掉约束后,数据全导入了,但是要重建约束,结果造成了日志被挂起,用三楼的方法,速度好慢,要知道,我的数据有194200000行啊,要分多少个表分区啊.

ehxz

这么大的数据量，好象也没啥好办法吧

chuxu

约束是PK吗？是否可以考虑建成非聚簇的

xud6666

没办法了,我写了一个循环语句,先把分段文本文件bcpin 一个无索引无约束的表,然后指定行数插入正正式表,大约要5天时间才能全部导入.

xud6666

至少这样做不会造成挂起.

xud6666

DECLARE @SL INT,@BL INT,@ZSL INT,@CS INT
SELECT @SL=80000,@ZSL=40000000,@CS=0
WHILE @SL>0
BEGIN
        SET ROWCOUNT @SL
        INSERT INTO AA SELECT * FROM AA_TEMP
        DELETE FROM AA_TEMP
        select '第'+CONVERT(CHAR(10),@CS+1)+'次','插入'+CONVERT(CHAR(10),@SL)+'条', '还剩'+CONVERT(CHAR(10),@ZSL-@SL)+'条'
        SET ROWCOUNT 0
        commit
        SELECT @ZSL=@ZSL-@SL,@CS=@CS+1
        DUMP TRAN DATABASE WITH TRUNCATE_ONLY
        IF @CS>=500
                BREAK
        ELSE
                     CONTINUE
END

Sybase技术专家

马儿要跑，就要吃草