如何一次插入200万条记录?

tong0245

一个是用PreparedStatement  
另外呢还是分批 插入试试吧

thehenry

原帖由 qn_0 于 2006-10-16 17:24 发表
why not use PreparedStatement

同上

LiveHappy

原帖由 tong0245 于 2006-10-16 16:12 发表

那你就生成文件再导入 .

不知道怎么生成文件可以快点,下面是这生成文件的代码,很慢,请指教下,谢谢

1. 
   
2. int count = 2000000;
   
3.         String outStr = "";
   
4.         //但是这个循环很慢,我只测了下下面的for循环,光这个循环就执行近一个小时还没执行完这个循环
   
5.         for(int i=0;i<count;i++)
   
6.         {
   
7.             outStr +="123456,"+i+","+ Math.round(Math.random() * 100000000)+"\n";
   
8.             //System.out.println(i);
   
9.         }
   
10.         
    
11.         File fileOut = new File("e://outTemp.dat");
    
12.         try
    
13.         {
    
14.             fileOut.createNewFile();
    
15.         } catch (IOException ex)
    
16.         {
    
17.         }
    
18.         fileOut.canWrite();
    
19.         FileOutputStream fileOutStr = null;
    
20.         try
    
21.         {
    
22.             fileOutStr = new FileOutputStream(fileOut);
    
23.         } catch (FileNotFoundException ex2)
    
24.         {
    
25.         }
    
26.         BufferedOutputStream bufferedOut = new BufferedOutputStream(fileOutStr);
    
27.         byte outBy[] = outStr.getBytes();
    
28.         try
    
29.         {
    
30.             bufferedOut.write(outBy);
    
31.         } catch (IOException ex3)
    
32.         {
    
33.         }
    

复制代码

tong0245

慢就慢吧

jhsea3do

org.apache.ddlutils

不要再去发明轮子了

jhsea3do

看错了，建议生成文件导入

ddlutils是一个很方便的工具 http://db.apache.org/ddlutils/

tsgx8848

1. 
   
2.      for (int j = QiShiHaoMa; j < QiShiHaoMa + count; j++) {
   
3.        proRandom randomM = new proRandom();//产生随机数
   
4.        if (arrayList1.contains(j)) {
   
5.          String JX = String.valueOf(arrayList2.get(j)) + "Բ";
   
6.          String SQL = "insert into XinXi(fapysxx_dm,fapysxx_hm,fapysxx_mm,fapysxx_jx,fapysxx_qh) values(" +
   
7.              DaiMa + "," + j + "," + randomM.createInteger() + "," +
   
8.              JX + "," + QH + ")";
   
9.          databaseCon3.executeUpdate(SQL);
   
10.        }
    
11.        else {
    
12.          String SQL = "insert into XinXi(fapysxx_dm,fapysxx_hm,fapysxx_mm,fapysxx_jx,fapysxx_qh) values(" +
    
13.              DaiMa + "," + j + "," + randomM.createInteger() + ",'" +
    
14.              defaultJX + "'," + QH + ")";
    
15.          databaseCon3.executeUpdate(SQL);
    
16.        }
    
17. 
    
18. 
    
19. 
    
20. 
    
21. //---------------------------在MySQL里可以这样,但在SQL Server我就不清楚了--------------------------------
    
22. 
    
23. 
    
24. String SQL = "insert into XinXi(fapysxx_dm,fapysxx_hm,fapysxx_mm,fapysxx_jx,fapysxx_qh) values";
    
25. 
    
26.      for (int j = QiShiHaoMa; j < QiShiHaoMa + count; j++) {
    
27.        proRandom randomM = new proRandom();//产生随机数
    
28.        if (arrayList1.contains(j)) {
    
29.          String JX = String.valueOf(arrayList2.get(j)) + "Բ";
    
30.               SQL += "(" + DaiMa + "," + j + "," + randomM.createInteger() + "," +JX + "," + QH + "),";
    
31.           }else {
    
32.          SQL +="(" +
    
33.              DaiMa + "," + j + "," + randomM.createInteger() + ",'" +
    
34.              defaultJX + "'," + QH + "),";
    
35.         }
    
36.    }
    
37. 
    
38. //此处加一行代码处理掉SQL里的最后一个 ',' 号
    
39. 
    
40. databaseCon3.executeUpdate(SQL);
    

复制代码

------------------------
不过对于二百万的记录不知我这种方法是否有用,应该是占内存太大了!!!

[ 本帖最后由 tsgx8848 于 2006-10-18 11:49 编辑 ]

yaoxiujun

创建事务
-over

tong0245

原帖由 myithead 于 2006-10-20 23:36 发表
用Hibernate或许也会简单些
另外,我记得好象string类型的对象,每用一次"+"连接,都会产生一个新的string对象,直到JVM关闭才会被释放,
因此,你的内存被耗光很有可能就是这些临时对象的占用.

hibernate 个屁   200万记录用hibernate
另外在循环中的对象只要循环结束会马上收集。

解决的简单办法是用stringbuilder 或者stringbuffer都可以。
另外"dddd"+"ddddd"+"ds"是不会重复创建对象的 编译器做了优化。
Sting ddd="dd";
dd+="dd"
编译器就没有办法了
技术问题说话还是要负责的 说屁话不好
另外告诉楼主 找出问题最好的方式是做profile
netbeans 和eclipse 都用相关的插件

原帖由 yaoxiujun 于 2006-10-21 00:52 发表
创建事务
-over

另外创建事务 创建个屁  事务事务 个屁
200W 记录就不应该闲的用程序那么去插入。
jdbc 再快每次也要串行化对象的 问题出在这里的问题更大。
如果楼主有心的话 做个profile 比什么都强 问什么问啊 性能问题很可能是多方面的。
要看你具体环境。

[ 本帖最后由 tong0245 于 2006-10-21 08:28 编辑 ]