试了一下php连接pgsql,不知道为什么速度好慢

cdcchen

本机192.168.1.108，pgsql地址192.168.0.2中间跨着routeros做的路由，用php插入简单的数据到一个表里，每次插入5000条，有时候还执行不完就停了，直接插入20000条，执行不完就停止了，用select cout(*)监测了一下，平均一秒钟插入50-100条啊，是不是有点慢啊

cdcchen

我又在mysql中建了相同的表，直接插入20000条，速度飞快，很快就完成了，为什么速度有这么大的差别啊

likuku

你开启 postgresql.conf 里的 autovacuum = on 。因为非 Win32 版本的pg,默认是关闭这个的。

另外，你确认你连接数据库是直接使用 IP 而不是使用 DNS.

我用 JDBC 测试过 Mysql 5 和 PostgreSQL,均插入 10W 条记录，也是每5000一批，Postgresql 很平稳的完成，相当快。

只有 mysql-jdbc 3.0.16 能在我的测试中正常完成且中文存储没问题。更高版本的JDBC 驱动都出现：MySQL 在程序开始运作后，内存占用直线上升，运行2分钟后直接死掉。

Java 代码一致.

我的部分记录:

PostgreSQL 8.1.4 Win32

## 使用控制COMMIT(一次提交)
D:\Program Files\test\db_test>java InsertTestPostgresql
<<---本页生成耗时[2875]毫秒(2.875秒)--->>

<<---共插入记录1000条-->>

D:\Program Files\test\db_test>java InsertTestPostgresql
<<---本页生成耗时[149175]毫秒(149.175秒)--->>

<<---共插入记录100000条-->>

Mysql 5.0.20 Win32

## jdbc 3.0.16 一次提交
D:\Program Files\test\db_test>java InsertTestMysql
<<---本页生成耗时[3846]毫秒(3.846秒)--->>

<<---共插入记录1000条-->>

D:\Program Files\test\db_test>java InsertTestMysql
<<---本页生成耗时[98582]毫秒(98.582秒)--->>

<<---共插入记录100000条-->>

测试相关代码,非常简单的：

Mysql 测试代码

1. 
   
2. import java.lang.*;
   
3. import java.sql.*;
   
4. 
   
5. public class InsertTestMysql{
   
6.         public static void main(String [] args){   
   
7.                 java.util.Date now_start = new java.util.Date();
   
8.                 long start_time=now_start.getTime();
   
9.                
   
10.                 int st = 100000;
    
11.                 String str,info;
    
12. 
    
13.                 String db="org.gjt.mm.mysql.Driver";
    
14.                 String host="jdbc:mysql://localhost/con_test";
    
15.                 String user="root";
    
16.                 String passwd="mysql";
    
17.                 Connection con=null;
    
18.                
    
19.    
    
20.                 try{
    
21.                         Class.forName(db).newInstance();
    
22.                 }
    
23.                 catch(Exception e){
    
24.                         System.out.println("加载驱动失败:"+db);
    
25.                 }
    
26.        
    
27.                 try{
    
28.                         con=DriverManager.getConnection(host,user,passwd);
    
29.                         con.setAutoCommit(false);
    
30. 
    
31.                         for (int i=1;i<=st;i++){
    
32.          
    
33.                                                 info = "这条记录是第=";
    
34.                                                 info = info.concat(java.lang.Integer.toString(i));
    
35.                   str = "insert into test (id,txt) values(?,?);";
    
36.                   PreparedStatement pstmt = con.prepareStatement(str);
    
37.                   pstmt.setInt(1,i);
    
38.                   pstmt.setString(2,info);
    
39.                   pstmt.executeUpdate();
    
40.                  
    
41.                   //if(i%5000==0)con.commit();
    
42.                         }       
    
43.                   //pstmt.close();
    
44.                   con.commit();
    
45.                   con.close();
    
46.                 }
    
47.               catch(Exception e) {
    
48.                   System.out.println(e);
    
49.                 }
    
50. 
    
51.                 java.util.Date now_end = new java.util.Date();
    
52.                 long end_time=now_end.getTime();
    
53.                 long use_time=end_time-start_time;
    
54. 
    
55.                 System.out.println("<<---本页生成耗时["+use_time+"]毫秒("+((double)use_time)/1000+"秒)--->>");
    
56.                 System.out.println("\n<<---共插入记录"+st+"条-->>");
    
57.         }
    
58. }
    

复制代码

postgresql 版测试代码

1. 
   
2. import java.lang.*;
   
3. import java.sql.*;
   
4. 
   
5. public class InsertTestPostgresql{
   
6.         public static void main(String [] args){   
   
7.                 java.util.Date now_start = new java.util.Date();
   
8.                 long start_time=now_start.getTime();
   
9.                
   
10.                 int st = 100000;
    
11.                 String str,info;
    
12. 
    
13.                 String db="org.postgresql.Driver";
    
14.                 String host="jdbc:postgresql://localhost/con_test";
    
15.                 String user="postgres";
    
16.                 String passwd="postgres";
    
17.                 Connection con=null;
    
18.    
    
19.                 try{
    
20.                         Class.forName(db).newInstance();
    
21.                 }
    
22.                 catch(Exception e){
    
23.                         System.out.println("加载驱动失败:"+db);
    
24.                 }
    
25.        
    
26.                 try{
    
27.                         con=DriverManager.getConnection(host,user,passwd);
    
28.                         con.setAutoCommit(false);
    
29. 
    
30.                         for (int i=1;i<=st;i++){
    
31.          
    
32.                                                 info = "这条记录是第=";
    
33.                                                 info = info.concat(java.lang.Integer.toString(i));
    
34.                   str = "insert into test (id,txt) values(?,?);";
    
35.                   PreparedStatement pstmt = con.prepareStatement(str);
    
36.                   pstmt.setInt(1,i);
    
37.                   pstmt.setString(2,info);
    
38.                   pstmt.executeUpdate();
    
39.                   //if(i%3000==0)con.commit();
    
40.                         }       
    
41.                                           //pstmt.close();
    
42.                                           con.commit();
    
43.                   con.close();
    
44.                 }
    
45.               catch(Exception e) {
    
46.                   System.out.println(e);
    
47.                 }
    
48. 
    
49.                 java.util.Date now_end = new java.util.Date();
    
50.                 long end_time=now_end.getTime();
    
51.                 long use_time=end_time-start_time;
    
52. 
    
53.                 System.out.println("<<---本页生成耗时["+use_time+"]毫秒("+((double)use_time)/1000+"秒)--->>");
    
54.                 System.out.println("\n<<---共插入记录"+st+"条-->>");
    
55.         }
    
56. }
    

复制代码

cdcchen

我打开autovacuum = on了，也是直接使用的IP，双测试了一下MSSQL，速度跟PGSQL差不多
接着又试了一下MySQL，速度还是快啊， 速度差太多了，是不是Java和PHP的原因？？

又或是我的PgSQL没有配置好？？楼上的能不能讲一下你的PgSQL怎么优化的？？

我的是FreeBSD6.1下编译的

[ 本帖最后由 cdcchen 于 2007-3-21 14:08 编辑 ]

wolfop

mysql你用的缺省的myisam表吧？那个玩意是表级别锁定，没有事务支持，当然快了。
不要只考虑速度，直接写文本文件岂不更快。
你用mysql完整的acid的innodb表试试。

likuku

原帖由 wolfop 于 2007-3-21 19:27 发表
mysql你用的缺省的myisam表吧？那个玩意是表级别锁定，没有事务支持，当然快了。
不要只考虑速度，直接写文本文件岂不更快。
你用mysql完整的acid的innodb表试试。

和上周7天都在测试 MySQL 5.2.3-Falcon-Alpha 的 Falcon事务存储引擎，和 soliddb-MySQL-5.0.27 的 soliddb存储引擎 (二者没有性能测试，只有可用测试。)

5.2.3 Falcon 表 能用，任何字符集都成，php,jdbc 都没问题。

soliddb-mysql-5.0.27 表 目前只支持 latin1 和 ucs2 存储。php 下，没有任何问题;jdbc 下 ucs2 没法用，根本不能连接数据库，总提示 SQL 语法错误。已经把错误发到 soliddb 官方。

Falcon 是 Mysql 自己开发的 代替 innodb 的事务引擎。

Soliddb 是 Soliddb.com的，现在也开发了 mysql 的 soliddb 插件。

根据soliddb官方 2006-11-8 日测试报告:

8 个 双核 AMD Opteron CPU, 每存储引擎 2GB 缓存

1. solidDB for MySQL Beta 5 (solidDB 存储引擎);
2. MySQL 5.0.27 使用  InnoDB  存储引擎

不同数据量时的事务效能 ,64个连接：
MySQL 5.0.27 InnoDB:
10 万行记录，每秒处理事务 12000 笔
30 万行记录，每秒处理事务 9000 笔
100 万行记录，每秒处理事务 5000 笔

MySQL solidDB:
10 万行记录，每秒处理事务 13000 笔
30 万行记录，每秒处理事务 13500 笔
100 万行记录，每秒处理事务 14200 笔

多核下的事务效能 ,64个连接 100万行记录:
MySQL 5.0.27 InnoDB:
4 核，每秒处理事务 5000 笔
8 核，每秒处理事务 4800 笔
16核，每秒处理事务 5000 笔

MySQL solidDB:
4 核，每秒处理事务 7800 笔
8 核，每秒处理事务 9800 笔
16核，每秒处理事务 14200 笔

Soliddb 引擎支持在线/不间断业务 备份数据。

[ 本帖最后由 likuku 于 2007-3-22 15:43 编辑 ]

likuku

原帖由 cdcchen 于 2007-3-21 14:02 发表
我打开autovacuum = on了，也是直接使用的IP，双测试了一下MSSQL，速度跟PGSQL差不多
接着又试了一下MySQL，速度还是快啊， 速度差太多了，是不是Java和PHP的原因？？

又或是我的PgSQL没有配置好？？楼上的能 ...

我没优化，都是默认值，在 Win32 用的。

PostgreSQL默认配置能应付绝大多数应用。

perlpg

其实我不懂java，但对数据库还是懂得一点点的。

con=DriverManager.getConnection(host,user,passwd);
con.setAutoCommit(false);

for (int i=1;i<=st;i++){
      
     info = "这条记录是第=";
     info = info.concat(java.lang.Integer.toString(i));
     str = "insert into test (id,txt) values(?,?);";
     PreparedStatement pstmt = con.prepareStatement(str);
     pstmt.setInt(1,i);
     pstmt.setString(2,info);
     pstmt.executeUpdate();
    //if(i%3000==0)con.commit();
}        
    //pstmt.close();
    con.commit();
    con.close();

天啊！平时就这样写程序的吗？要是测试干脆写成：
con.ExecuteStatement(str);
不就完了嘛，对于批量插入，应该是使用下面的方法才合理吧？

con=DriverManager.getConnection(host,user,passwd);
con.setAutoCommit(false);

str = "insert into test (id,txt) values(?,?);";
PreparedStatement pstmt = con.prepareStatement(str);

for (int i=1;i<=st;i++){
      
     info = "这条记录是第=";
     info = info.concat(java.lang.Integer.toString(i));
     pstmt.setInt(1,i);
     pstmt.setString(2,info);
     pstmt.executeUpdate();
    //if(i%3000==0)con.commit();
}        
    //pstmt.close();
    con.commit();
    con.close();

我没有java，但估计下面的方法应该比上面的快很多才对，特别是大型数据库，不信试试？

cdcchen

现在我的pgsql的CPU占用率非常大，用top查看，一有连接，postgres线程的CPU使用率立马到40-60%,这是什么原因呀，如果不考虑程序写的烂的话，应该怎么优化一下？？

likuku

原帖由 cdcchen 于 2007-3-23 15:36 发表
现在我的pgsql的CPU占用率非常大，用top查看，一有连接，postgres线程的CPU使用率立马到40-60%,这是什么原因呀，如果不考虑程序写的烂的话，应该怎么优化一下？？

建议去 www.pgsqldb.org 去问问。

那里专家多。