免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1712 | 回复: 5
打印 上一主题 下一主题

急!linux如何批量插入大量数据,可以用数组吗? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2004-05-12 22:11 |只看该作者 |倒序浏览
如果用循环就不必了,那样时间太长,现在要求10秒内3万条。能否用数组一

次插入?程序如何实现?THX!
  :em12:

论坛徽章:
1
荣誉会员
日期:2011-11-23 16:44:17
2 [报告]
发表于 2004-05-12 22:48 |只看该作者

急!linux如何批量插入大量数据,可以用数组吗?

数组一次插入?那还不是得你的数据是先存储在一个文件里的,不过话说回来,都存储在一个文件里了用不用数组还不一样。用数组也而且要用循环的说。

论坛徽章:
0
3 [报告]
发表于 2004-05-13 13:26 |只看该作者

急!linux如何批量插入大量数据,可以用数组吗?

不用导文件的方式,因为用sqlldr导数据,主键是一个序列,这样就不能用direct=true的方式来倒,而且表不为空时也不能用direct=true的方式,只能用普通方式倒,30000条耗时>;30秒,这样比较慢,不满足要求。我计划用java的batch insert方式来做,但时间也不理想。计划用java  array insert 来做。具体代码:

    oracle.sql.ARRAY ora_array1=null,ora_array2=null,ora_array3=null,ora_array4=null;

    try {
      oradb.beginConnect();

      oradb.conn.setAutoCommit(false); // If some fail, we want to rollback the rest
      PreparedStatement stmt = oradb.conn.prepareStatement(
          "INSERT INTO product_tmp VALUES (?,?,?,?)";

      try {
        // Create an oracle.sql.ARRAY object to hold the values
//      java.lang.Stringname
        oracle.sql.ArrayDescriptor arrayDesc1 =
            oracle.sql.ArrayDescriptor.createDescriptor("number_array",
            oradb.conn);
        oracle.sql.ArrayDescriptor arrayDesc2 =
            oracle.sql.ArrayDescriptor.createDescriptor("string_array",
            oradb.conn);
        oracle.sql.ArrayDescriptor arrayDesc3 =
            oracle.sql.ArrayDescriptor.createDescriptor("string_array",
            oradb.conn);
        oracle.sql.ArrayDescriptor arrayDesc4 =
            oracle.sql.ArrayDescriptor.createDescriptor("STRING_ARRAY",
            oradb.conn);

        int array1[] = new int[30000];
        String array2[] = new String[30000];
        String array3[] = new String[30000];
        String array4[] = new String[30000];
        Array t[] = new Array[30000];
        for (int i = 0; i < 30000; i++) {
          array1 = 444;
          array2 = "115S0003A";
          array3 = "ic";
          array4 = "136";
        }
        ora_array1 = new oracle.sql.ARRAY(arrayDesc1, oradb.conn, array1);
        ora_array2 = new oracle.sql.ARRAY(arrayDesc2, oradb.conn, array2);
        ora_array3 = new oracle.sql.ARRAY(arrayDesc3, oradb.conn, array3);
        ora_array4 = new oracle.sql.ARRAY(arrayDesc4, oradb.conn, array4);

      }
      catch (Exception ex) {
        ex.printStackTrace(out);
      }

      stmt.setArray(1, ora_array1);
      stmt.setArray(2, ora_array2);
      stmt.setArray(3, ora_array3);
      stmt.setArray(4, ora_array4);
      /*
             stmt.setInt(1,333);
             stmt.setString(2, "115S0003A";
             stmt.setString(3, "ic";
             stmt.setString(4, "136";
             stmt.addBatch(  );
             stmt.setInt(1,333);
             stmt.setString(2, "115S0003A";
             stmt.setString(3, "ic";
             stmt.setString(4, "136";
       */
      stmt.addBatch();

      int[] upCounts = stmt.executeBatch();
      oradb.conn.commit();

    }
    catch (Exception ex) {
    }
    oradb.closeConnection();


这里有几篇参考资料:
http://archives.postgresql.org/pgsql-jdbc/2003-07/msg00179.php
http://jakarta.apache.org/commons/dbutils/xref/org/apache/commons/dbutils/QueryRunner.html
http://javaalmanac.com/egs/java.sql/BatchUpdate.html
http://javaalmanac.com/egs/java.sql/CanBatch.html
http://javaalmanac.com/egs/java.sql/InsertArrayPs.html
http://www.zdnet.com.cn/developer/code/story/0,2000081534,39224104,00.htm
http://asktom.oracle.com/pls/ask/f?p=4950:8:::::F4950_P8_DISPLAYID:8908169959941

论坛徽章:
5
荣誉会员
日期:2011-11-23 16:44:17CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-09-18 15:15:45未羊
日期:2014-02-25 14:37:19射手座
日期:2014-12-26 22:55:37
4 [报告]
发表于 2004-05-13 18:22 |只看该作者

急!linux如何批量插入大量数据,可以用数组吗?

你的服务器有多少CPU,你插入的时候系统负荷如何,包括IO和CPU贴出来。

论坛徽章:
0
5 [报告]
发表于 2004-05-13 18:52 |只看该作者

急!linux如何批量插入大量数据,可以用数组吗?

[quote]原帖由 "wolfop"]你的服务器有多少CPU,你插入的时候系统负荷如何,包括IO和CPU贴出来。[/quote 发表:


服务器cpu:2*900,IO和CPU具体多少没看,肯定不高,因为一次插入3万条左右,10秒左右完成。

论坛徽章:
1
荣誉会员
日期:2011-11-23 16:44:17
6 [报告]
发表于 2004-05-13 20:00 |只看该作者

急!linux如何批量插入大量数据,可以用数组吗?

他的意思是说,可能存在IO负载和CPU负载上面的问题才导致你的插入速度慢。所以如果你能贴出来看看也许先可以排除这种情况再从算法方面考虑。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP