如何一次插入200万条记录?

tong0245

慢就慢吧

LiveHappy

原帖由 tong0245 于 2006-10-16 16:12 发表

那你就生成文件再导入 .

不知道怎么生成文件可以快点,下面是这生成文件的代码,很慢,请指教下,谢谢

1. 
   
2. int count = 2000000;
   
3.         String outStr = "";
   
4.         //但是这个循环很慢,我只测了下下面的for循环,光这个循环就执行近一个小时还没执行完这个循环
   
5.         for(int i=0;i<count;i++)
   
6.         {
   
7.             outStr +="123456,"+i+","+ Math.round(Math.random() * 100000000)+"\n";
   
8.             //System.out.println(i);
   
9.         }
   
10.         
    
11.         File fileOut = new File("e://outTemp.dat");
    
12.         try
    
13.         {
    
14.             fileOut.createNewFile();
    
15.         } catch (IOException ex)
    
16.         {
    
17.         }
    
18.         fileOut.canWrite();
    
19.         FileOutputStream fileOutStr = null;
    
20.         try
    
21.         {
    
22.             fileOutStr = new FileOutputStream(fileOut);
    
23.         } catch (FileNotFoundException ex2)
    
24.         {
    
25.         }
    
26.         BufferedOutputStream bufferedOut = new BufferedOutputStream(fileOutStr);
    
27.         byte outBy[] = outStr.getBytes();
    
28.         try
    
29.         {
    
30.             bufferedOut.write(outBy);
    
31.         } catch (IOException ex3)
    
32.         {
    
33.         }
    

复制代码

thehenry

原帖由 qn_0 于 2006-10-16 17:24 发表
why not use PreparedStatement

同上

tong0245

一个是用PreparedStatement  
另外呢还是分批 插入试试吧

qn_0

why not use PreparedStatement

LiveHappy

这个是代码

1. 
   
2.      String DaiMa ="2109";
   
3. String defaultJX ="二位";
   
4. String QH ="200610";
   
5. int QiShiHaoMa=1,count=2000000;
   
6. //arrayList1和arrayList2是两个数组,它们的值通过 数组index建立关系
   
7.         DatabaseCon databaseCon3=new DatabaseCon();//连接数据库
   
8.      for (int j = QiShiHaoMa; j < QiShiHaoMa + count; j++) {
   
9.        proRandom randomM = new proRandom();//产生随机数
   
10.        if (arrayList1.contains(j)) {
    
11.          String JX = String.valueOf(arrayList2.get(j)) + "Բ";
    
12.          String SQL = "insert into XinXi(fapysxx_dm,fapysxx_hm,fapysxx_mm,fapysxx_jx,fapysxx_qh) values(" +
    
13.              DaiMa + "," + j + "," + randomM.createInteger() + "," +
    
14.              JX + "," + QH + ")";
    
15.          databaseCon3.executeUpdate(SQL);
    
16.        }
    
17.        else {
    
18.          String SQL = "insert into XinXi(fapysxx_dm,fapysxx_hm,fapysxx_mm,fapysxx_jx,fapysxx_qh) values(" +
    
19.              DaiMa + "," + j + "," + randomM.createInteger() + ",'" +
    
20.              defaultJX + "'," + QH + ")";
    
21.          databaseCon3.executeUpdate(SQL);
    
22.        }
    
23.      }
    

复制代码

tong0245

原帖由 LiveHappy 于 2006-10-16 14:42 发表
我用JAVA通过循环插入200万条记录到SQLServer 2000中,运行以后等了5分钟左右机子就蓝屏报错:物理内存不够,然后重启机器,查看数据库,数据库已经插入了3万多条
现问各位这与什么有关,又如何插入这200万条?
谢谢大家!

就是你发得信息就好 告诉某人死了  死了 原因是什么 什么

tong0245

原帖由 LiveHappy 于 2006-10-16 15:48 发表


没法导入,每一条数据都是根据程序中设定的参数动态生成的,

你用profile 工具分析你得程序吧.
200万也不多
顶多是慢
要不你把程序发上来

tong0245

原帖由 LiveHappy 于 2006-10-16 15:48 发表


没法导入,每一条数据都是根据程序中设定的参数动态生成的,

那你就生成文件再导入 .

LiveHappy

原帖由 qn_0 于 2006-10-16 14:50 发表
为什么不用导入。。

没法导入,每一条数据都是根据程序中设定的参数动态生成的,