如何一次插入200万条记录?

LiveHappy

我用JAVA通过循环插入200万条记录到SQLServer 2000中,运行以后等了5分钟左右机子就蓝屏报错:物理内存不够,然后重启机器,查看数据库,数据库已经插入了3万多条
现问各位这与什么有关,又如何插入这200万条?
谢谢大家!

[ 本帖最后由 LiveHappy 于 2006-10-16 15:47 编辑 ]

tong0245

本来不是问题的问题

tong0245

你自己看看吧
package test;

import java.io.BufferedOutputStream;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;

public class TEst {
        public static void main(String[] args) {
                int count = 2000000;
                System.out.println("e:" + File.separator + "outTemp.dat");

                try {
                        File fileOut = new File("e:" + File.separator + "outTemp.dat");
                        fileOut.createNewFile();
                        if (fileOut.canWrite()) {
                                FileOutputStream         fileOutStr = new FileOutputStream(fileOut);
                                BufferedOutputStream bufferedOut = new BufferedOutputStream(
                                                fileOutStr);
                               
                                for (int i = 0; i < count; i++) {
                               
                                        String outStr = "123456," + i + ","
                                                        + Math.round(Math.random() * 100000000) + "\n";
                                        byte outBy[] = outStr.getBytes();
                                        bufferedOut.write(outBy);
                                        // System.out.println(i);
                                }
                                bufferedOut.close();
                                fileOutStr.close();
                        }
                        else {
                                System.out.println("can't to write.");
                        }
                       

                } catch (IOException ex3) {
                }
        }
}

tong0245

原帖由 LiveHappy 于 2006-10-17 10:47 发表


不知道怎么生成文件可以快点,下面是这生成文件的代码,很慢,请指教下,谢谢


int count = 2000000;
        String outStr = "";
        //但是这个循环很慢,我只测了下下面的for循环,光 ...

你写的程序就该拍死
nt count = 2000000;
        String outStr = "";
        //但是这个循环很慢,我只测了下下面的for循环,光这个循环就执行近一个小时还没执行完这个循环
        for(int i=0;i<count;i++)
        {
            outStr +="123456,"+i+","+ Math.round(Math.random() * 100000000)+"\n";
            //System.out.println(i);
        }
        
你在这里创建了一个超级巨大字符串

[ 本帖最后由 tong0245 于 2006-10-21 08:34 编辑 ]

tong0245

原帖由 myithead 于 2006-10-20 23:36 发表
用Hibernate或许也会简单些
另外,我记得好象string类型的对象,每用一次"+"连接,都会产生一个新的string对象,直到JVM关闭才会被释放,
因此,你的内存被耗光很有可能就是这些临时对象的占用.

hibernate 个屁   200万记录用hibernate
另外在循环中的对象只要循环结束会马上收集。

解决的简单办法是用stringbuilder 或者stringbuffer都可以。
另外"dddd"+"ddddd"+"ds"是不会重复创建对象的 编译器做了优化。
Sting ddd="dd";
dd+="dd"
编译器就没有办法了
技术问题说话还是要负责的 说屁话不好
另外告诉楼主 找出问题最好的方式是做profile
netbeans 和eclipse 都用相关的插件

原帖由 yaoxiujun 于 2006-10-21 00:52 发表
创建事务
-over

另外创建事务 创建个屁  事务事务 个屁
200W 记录就不应该闲的用程序那么去插入。
jdbc 再快每次也要串行化对象的 问题出在这里的问题更大。
如果楼主有心的话 做个profile 比什么都强 问什么问啊 性能问题很可能是多方面的。
要看你具体环境。

[ 本帖最后由 tong0245 于 2006-10-21 08:28 编辑 ]

yaoxiujun

创建事务
-over

tsgx8848

1. 
   
2.      for (int j = QiShiHaoMa; j < QiShiHaoMa + count; j++) {
   
3.        proRandom randomM = new proRandom();//产生随机数
   
4.        if (arrayList1.contains(j)) {
   
5.          String JX = String.valueOf(arrayList2.get(j)) + "Բ";
   
6.          String SQL = "insert into XinXi(fapysxx_dm,fapysxx_hm,fapysxx_mm,fapysxx_jx,fapysxx_qh) values(" +
   
7.              DaiMa + "," + j + "," + randomM.createInteger() + "," +
   
8.              JX + "," + QH + ")";
   
9.          databaseCon3.executeUpdate(SQL);
   
10.        }
    
11.        else {
    
12.          String SQL = "insert into XinXi(fapysxx_dm,fapysxx_hm,fapysxx_mm,fapysxx_jx,fapysxx_qh) values(" +
    
13.              DaiMa + "," + j + "," + randomM.createInteger() + ",'" +
    
14.              defaultJX + "'," + QH + ")";
    
15.          databaseCon3.executeUpdate(SQL);
    
16.        }
    
17. 
    
18. 
    
19. 
    
20. 
    
21. //---------------------------在MySQL里可以这样,但在SQL Server我就不清楚了--------------------------------
    
22. 
    
23. 
    
24. String SQL = "insert into XinXi(fapysxx_dm,fapysxx_hm,fapysxx_mm,fapysxx_jx,fapysxx_qh) values";
    
25. 
    
26.      for (int j = QiShiHaoMa; j < QiShiHaoMa + count; j++) {
    
27.        proRandom randomM = new proRandom();//产生随机数
    
28.        if (arrayList1.contains(j)) {
    
29.          String JX = String.valueOf(arrayList2.get(j)) + "Բ";
    
30.               SQL += "(" + DaiMa + "," + j + "," + randomM.createInteger() + "," +JX + "," + QH + "),";
    
31.           }else {
    
32.          SQL +="(" +
    
33.              DaiMa + "," + j + "," + randomM.createInteger() + ",'" +
    
34.              defaultJX + "'," + QH + "),";
    
35.         }
    
36.    }
    
37. 
    
38. //此处加一行代码处理掉SQL里的最后一个 ',' 号
    
39. 
    
40. databaseCon3.executeUpdate(SQL);
    

复制代码

------------------------
不过对于二百万的记录不知我这种方法是否有用,应该是占内存太大了!!!

[ 本帖最后由 tsgx8848 于 2006-10-18 11:49 编辑 ]

jhsea3do

看错了，建议生成文件导入

ddlutils是一个很方便的工具 http://db.apache.org/ddlutils/

jhsea3do

org.apache.ddlutils

不要再去发明轮子了