从DB2向MYSQL导数的脚本。

mohanmode

#!/usr/bin/perl
#############################################################################
use                strict;
use         DBI;
use         DBD::mysql;
use                DBD::DB2;
use                DBD::DB2::Constants;
####################
#建立连接
####################
my ($dsn,$dbh1,$dbh2);
my ($sth1, $sth2, $table1, $table2);
my $count;
########源机的
my $host = '10.28.24.22';
my $dbn = "EMDB";
my $user = "db2inst1";
my $pd = "db2inst1";
##DB2
$dsn = "dbi:DB2:$dbn";
while(!($dbh1=DBI->connect($dsn, $user, $pd))){};
$dbh1->{LongReadLen} = 1024 * 1024;
########目的机的(到2009-02-27日)
$host = '222.34.43.2';
$dbn = "ycdata";
$user = "zheng";
$pd = "44444";
##MySQL5
$dsn = "DBI:mysql:$dbn:$host";
while(!($dbh2=DBI->connect($dsn, $user, $pd))){};
$dbh2->do("SET NAMES gbk");        #能解决表类型为utf8的汉字问题(其实是标识SQL字集符集)
###################################################################################
###################################################################################
##        #库存表（业务）
$table1 = "EM.T_WH_BUSINESSINVENTORY";
$table2 = "t_em_businessinventory";
##找出 #1
$sth1 = $dbh1->prepare("SELECT * FROM $table1");
$sth1->execute || die "$DBI::errstr\n";
##删除 #2
$sth2 = $dbh2->prepare("TRUNCATE TABLE $table2");
$sth2->execute || die "$DBI::errstr\n";
##
eval {
$count=0;
while (my $refhash = $sth1->fetchrow_hashref())  {
if ($@) {
        next;
}
        $sth2 = $dbh2->prepare("INSERT INTO $table2 (ID,
                                                                                                WHID,
                                                                                                PRODUCTID,
                                                                                                PRODUCTCODE,
                                                                                                QUANT,
                                                                                                AMOUNT,
                                                                                                QUANTALLOCATED,
                                                                                                TAGRESERVED,
                                                                                                BUSINESSMONTH)
                                                                                VALUES (?,?,?,?,?,
                                                                                                ?,?,?,?)")
                                        || die $dbh2->errstr;
########
        $sth2->bind_param(1, $refhash->{'ID'} ,4);
        $sth2->bind_param(2, $refhash->{'WHID'} ,4);
        $sth2->bind_param(3, $refhash->{'PRODUCTID'} ,4);
        $sth2->bind_param(4, $refhash->{'PRODUCTCODE'} ,12);
        $sth2->bind_param(5, $refhash->{'QUANT'} ,4);
        $sth2->bind_param(6, $refhash->{'AMOUNT'} ,3);
        $sth2->bind_param(7, $refhash->{'QUANTALLOCATED'} ,4);
        $sth2->bind_param(8, $refhash->{'TAGRESERVED'} ,4);
        $sth2->bind_param(9, $refhash->{'BUSINESSMONTH'} ,9);
        if($sth2->execute)  {
                $sth2->finish();
                $count++;
        } else {
                print "表：$table2 插入KEY=$refhash->{'ID'}的行时失败\n";
                exit;
        }        #end if
}        #end while
};
print "表：$table2 已完成，成功导入：$count 条记录\n";
$sth1->finish();
###################################################################################
###################################################################################
$dbh1->disconnect();
$dbh2->disconnect();
print "全部完成\n";
sleep (5);
exit;


这样是可以导，但就是速度太慢，每条记录都要insert一下。有没有批量insert的优化方案？

MMMIX

原帖由 mohanmode 于 2009-3-12 13:38 发表
这样是可以导，但就是速度太慢，每条记录都要insert一下。有没有批量insert的优化方案？

这个要看数据库，和 Perl 无关。

mohanmode

你看啊。现在是个循环，每条记录都是做一个insert，这个效率肯定就是不行。
我就是想能不能把每个记录一下子取出来一下子insert。

flw

mysql 的 insert 语句支持一次性 insert 好几条记录的。
试试看，也许效率会高一些。
我以前搞 sybase 的时候，会用 bcp。

mohanmode

对呀。就是楼上的意思。可是那个perl脚本怎么写呀。

MMMIX

原帖由 mohanmode 于 2009-3-12 14:54 发表
对呀。就是楼上的意思。可是那个perl脚本怎么写呀。

你需要啥 SQL 语句就生成啥语句呗。例如说 MySQL 支持一次 insert  N 条记录，那你就先 fetch N 条记录，生成对应的 SQL 语句，执行就完了。

mohanmode

最重要的是，在我顶楼的贴子的脚本上怎么修改呢？

cobrawgl

用那个什么 。。。 Transactions?

MMMIX

原帖由 mohanmode 于 2009-3-12 16:21 发表
最重要的是，在我顶楼的贴子的脚本上怎么修改呢？

敢情你是不会 Perl 呀？这我可帮不了你。或者说你是不知道对应的 SQL 要怎么写？这我同样帮不了你。

ulmer

mysql supports multiple insert like this SQL query:

INSERT INTO <table> VALUES (<values 1>), (<values 2>), ..., (<values N>);

read whole values from DB2 and convert it to above SQL statement and last do insert only once.