sqlldr的用法

icybay 发表于 2011-12-22 08:54

在 Oracle
数据库中，我们通常在不同数据库的表间记录进行复制或迁移时会用以下几种方法： 1. A 表的记录导出为一条条分号隔开的 insert
语句，然后执行插入到 B 表中 2. 建立数据库间的 dblink，然后用 create table B as select *
from <a style="color: navy; text-decoration: none;" href="mailto:A@dblink">A@dblink</a> where ...，或 insert into B select *
from <a style="color: navy; text-decoration: none;" href="mailto:A@dblink">A@dblink</a> where ... 3. exp A 表，再 imp 到 B
表，exp 时可加查询条件 4. 程序实现 select from A ..，然后 insert into B ...，也要分批提交 5.
再就是本篇要说到的 Sql Loader(sqlldr) 来导入数据，效果比起逐条 insert 来很明显 第 1
种方法在记录多时是个噩梦，需三五百条的分批提交，否则客户端会死掉，而且导入过程很慢。如果要不产生 REDO 来提高 insert into
的性能，就要下面那样做： 
<div class="dp-highlighter" style="border: 1px solid rgb(209, 215, 220); overflow: auto; font-size: 12px; margin: 0px; width: 99%; font-family: 'Courier New',Courier,mono; background-color: rgb(250, 250, 250);">

<ol class="dp-sql" style="padding: 2px; margin: 0px 0px 1px 38px; color: rgb(43, 145, 175);"><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">alter table B nologging;  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">insert /* +APPEND */ into B(c1,c2) values(x,xx);  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">insert /* +APPEND */ into B select * from A@dblink where .....;  </li></ol></div> 好
啦，前面简述了 Oracle 中数据导入导出的各种方法，我想一定还有更高明的。下面重点讲讲 Oracle  的 Sql Loader
(sqlldr) 的用法。 在命令行下执行 Oracle  的 sqlldr
命令，可以看到它的详细参数说明，要着重关注以下几个参数： userid --
Oracle 的 username/password[@servicename] control --
控制文件，可能包含表的数据 ------------------------------------------------------------------------------------------------------- log
-- 记录导入时的日志文件，默认为控制文件(去除扩展名).log bad -- 坏数据文件，默认为控制文件(去除扩展名).bad data
-- 数据文件，一般在控制文件中指定。用参数控制文件中不指定数据文件更适于自动操作 errors --
允许的错误记录数，可以用他来控制一条记录都不能错 rows -- 多少条记录提交一次，默认为 64 skip --
跳过的行数，比如导出的数据文件前面几行是表头或其他描述 还有更多的 sqlldr 的参数说明请参考：<a style="color: navy; text-decoration: none;" href="http://www.myfaq.com.cn/2005September/2005-09-13/206612.html" target="_blank">sql loader的用法</a>。 用例子来演示 sqlldr 的使用，有两种使用方法： 1.
只使用一个控制文件，在这个控制文件中包含数据 2. 使用一个控制文件(作为模板) 和一个数据文件 一般为了利于模板和数据的
分离，以及程序的不同分工会使用第二种方式，所以先来看这种用法。数据文件可以是 CSV 文件或者以其他分割符分隔的，数据文件可以用 PL/SQL
Developer 或者 Toad 导出，也可以<a title="这个连接里有介绍 SQL *Plus 和 UTL_FILE 生成数据文件" style="color: navy; text-decoration: none;" href="http://soft.ccw.com.cn/programing/database/htm2008/20080925_509432_2.shtml" target="_blank">用 SQL *Plus 的  spool 格式化产出，或是 UTL_FILE 包生成</a>。另外，用
Toad 还能直接生成包含数据的控制文件。 首先，假定有这么一个表 users，并插入五条记录： 
<div class="dp-highlighter" style="border: 1px solid rgb(209, 215, 220); overflow: auto; font-size: 12px; margin: 0px; width: 99%; font-family: 'Courier New',Courier,mono; background-color: rgb(250, 250, 250);">

<ol class="dp-sql" style="padding: 2px; margin: 0px 0px 1px 38px; color: rgb(43, 145, 175);"><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">create table users(  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">    user_id number,           --用户 ID  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">    user_name varchar2(50),   --用户名  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">    login_times number,       --登陆次数  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">    last_login date           --最后登录日期  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">)  </li></ol></div> 
<div class="dp-highlighter" style="border: 1px solid rgb(209, 215, 220); overflow: auto; font-size: 12px; margin: 0px; width: 99%; font-family: 'Courier New',Courier,mono; background-color: rgb(250, 250, 250);">

<ol class="dp-sql" style="padding: 2px; margin: 0px 0px 1px 38px; color: rgb(43, 145, 175);"><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">insert into users values(1,'Unmi',3,sysdate);  

</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">insert into users values(2,NULL,5,to_date('2008-10-15','YYYY-MM-DD'));  

</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">insert into users values(3,'隔叶黄莺
',8,to_date('2009-01-02','YYYY-MM-DD'));  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">insert into users values(4,'Kypfos',NULL,NULL);  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">insert into users values(5,'不知秋
',1,to_date('2008-12-23','YYYY-MM-DD'));  </li></ol></div> 第
二种方式：使用一个控制文件(作为模板) 和一个数据文件 1) 建立数据文件，我们这里用 PL/SQL Developer 导出表
users 的记录为 users_data.csv 文件，内容如下： 
<div class="dp-highlighter" style="border: 1px solid rgb(209, 215, 220); overflow: auto; font-size: 12px; margin: 0px; width: 99%; font-family: 'Courier New',Courier,mono; background-color: rgb(250, 250, 250);">

<ol class="dp-sql" style="padding: 2px; margin: 0px 0px 1px 38px; color: rgb(43, 145, 175);"><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">"   ","USER_ID","USER_NAME","LOGIN_TIMES","LAST_LOGIN"  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">"1","1","Unmi","3","2009-1-5 20:34:44"  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">"2","2","","5","2008-10-15"  

</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">"3","3","隔叶黄莺","8","2009-1-2"  

</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">"4","4","Kypfos","",""  

</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">"5","5","不知秋","1","2008-12-23"  </li></ol></div> 2)
建立一个控制文件 users.ctl，内容如下： 
<div class="dp-highlighter" style="border: 1px solid rgb(209, 215, 220); overflow: auto; font-size: 12px; margin: 0px; width: 99%; font-family: 'Courier New',Courier,mono; background-color: rgb(250, 250, 250);">

<ol class="dp-sql" style="padding: 2px; margin: 0px 0px 1px 38px; color: rgb(43, 145, 175);"><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的
选项可以写到这里边来,skip=1 用来跳过数据中的第一行  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">LOAD DATA  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">INFILE "users_data.csv" --指定外部数据文件，可以写多
个 INFILE "another_data_file.csv" 指定多个数据文件  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">--这里还可以使
用 BADFILE、DISCARDFILE 来指定坏数据和丢弃数据的文件，  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">truncate --操作类型，用 truncate table 来清除表中原有
记录  

</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">INTO TABLE users -- 要插入记录的表  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">Fields terminated by "," -- 数据中每行记录用 "," 分隔  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">Optionally enclosed by '"' -- 数据中每个字段用 '"' 框起，比如字段中有 "," 分隔符时  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">trailing nullcols --表的字段没有对应的值时允
许为空  

</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">(  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">  virtual_column FILLER, --这是一个虚拟字段，用来跳
过由 PL/SQL Developer 生成的第一列序号  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">  user_id number, --字段可以指定类型，否则认
为是 CHARACTER 类型, log 文件中有显示  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">  user_name,  

</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">  login_times,  

</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">  last_login DATE "YYYY-MM-DD HH24:MI:SS" -- 指定接受日期的格式，相当用 to_date() 函数转换  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">)  </li></ol></div> 说
明：在操作类型 truncate 位置可用以下中的一值： 1) insert     --为缺省方式，在数据装载开始时要求表为空 2)
append  --在表中追加新记录 3) replace  --删除旧记录(用 delete from table
语句)，替换成新装载的记录 4) truncate --删除旧记录(用 truncate table 语句)，替换成新装载的记录 3)
执行命令： sqlldr <a style="color: navy; text-decoration: none;" href="mailto:dbuser/dbpass@dbservice">dbuser/dbpass@dbservice</a> control=users.ctl 在
dbservice 指示的数据库的表 users 中记录就和数据文件中的一样了。 执行完 sqlldr
后希望能留意一下生成的几个文件，如 users.log 日志文件、users.bad 坏数据文件等。特别是要看看日志文件，从中可让你更好的理解
Sql Loader，里面有对控制文件的解析、列出每个字段的类型、加载记录的统计、出错原因等信息。 第一种方式，只使用一个控制文件
在这个控制文件中包含数据 1) 把 users_data.cvs 中的内容补到 users.ctl 中，并以 BEGINDATA
连接，还要把 INFILE "users_data.csv" 改为 INFILE *。同时为了更大化的说明问题，把数据处理了一下。此时，完整的
users.ctl 文件内容是： 
<div class="dp-highlighter" style="border: 1px solid rgb(209, 215, 220); overflow: auto; font-size: 12px; margin: 0px; width: 99%; font-family: 'Courier New',Courier,mono; background-color: rgb(250, 250, 250);">

<ol class="dp-sql" style="padding: 2px; margin: 0px 0px 1px 38px; color: rgb(43, 145, 175);"><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">OPTIONS (skip=1,rows=128) -- sqlldr 命令显示的
选项可以写到这里边来,skip=1 用来跳过数据中的第一行  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">LOAD DATA  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">INFILE *  -- 因为数据同控制文件在一
起，所以用 * 表示  

</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">append    -- 这里用
了 append 来操作，在表 users 中附加记录   
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">INTO TABLE users  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">when LOGIN_TIMES<>'8'  -- 还可以用 when 子
句选择导入符合条件的记录  

</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">Fields terminated by ","  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">trailing nullcols  

</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">(  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">  virtual_column FILLER, --跳过
由 PL/SQL Developer 生成的第一列序号  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">  user_id "user_seq.nextval", --这一列直接取序列的下一值，而不用数据中提供的值  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">  user_name "'Hi '||upper(:user_name)",--,还能用SQL函数或运算对数据进行加工处理  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">  login_times terminated by ",", NULLIF(login_times='NULL') --可为列单独指定分隔符  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">  last_login DATE "YYYY-MM-DD HH24:MI:SS" NULLIF (last_login="NULL") -- 当字段为"NULL"时就是 NULL  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">)  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">BEGINDATA --数据从这里开始  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">   ,USER_ID,USER_NAME,LOGIN_TIMES,LAST_LOGIN  

</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">1,1,Unmi,3,2009-1-5 20:34  

</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">2,2,Fantasia,5,2008-10-15  

</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">3,3,隔叶黄
莺,8,2009-1-2  
</li><li class="alt" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(255, 255, 255);">4,4,Kypfos,NULL,NULL  
</li><li class="" style="padding-left: 10px; border-left: 1px solid rgb(209, 215, 220); line-height: 18px; background-color: rgb(248, 248, 248);">5,5,不知
秋,1,2008-12-23  </li></ol></div> 2) 执行一样的命令： sqlldr <a style="color: navy; text-decoration: none;" href="mailto:dbuser/dbpass@dbservice">dbuser/dbpass@dbservice</a> control=users.ctl 比
如，在控制台会显示这样的信息： C:\>sqlldr <a style="color: navy; text-decoration: none;" href="mailto:dbuser/dbpass@dbservice">dbuser/dbpass@dbservice</a> control=users.ctl

SQL*Loader: Release 9.2.0.1.0 - Production on 星期三
1月 7 22:26:25 2009
Copyright (c) 1982, 2002, Oracle Corporation.  All
rights reserved.
达到提交点，逻辑记录计数4 达到提交点，逻辑记录计数5 上面的控制文
件包含的内容比较复杂(演示目的)，请根据注释理解每个参数的意义。还能由此发掘更多用法。 最后说下有关 SQL *Loader
的性能与并发操作
1) ROWS 的默认值为 64，你可以根据实际指定更合适的 ROWS
参数来指定每次提交记录数。(体验过在 PL/SQL Developer 中一次执行几条条以上的 insert 语句的情形吗？)
2）常规导入可以通过使用
INSERT语句来导入数据。Direct导入可以跳过数据库的相关逻辑(DIRECT=TRUE)，而直接将数据导入到数据文件中，可以提高导入数据的
性能。当然，在很多情况下，不能使用此参数(如果主键重复的话会使索引的状态变成UNUSABLE!)。
3) 通过指定 UNRECOVERABLE选项，可以关闭数据库的日志(是否要
alter table table1 nologging 呢?)。这个选项只能和 direct 一起使用。
4) 对于超大数据文件的导入就要用并发操作了，即同时运行多个导入任务.
  sqlldr   userid=/   control=result1.ctl  
direct=true   parallel=true      sqlldr   userid=/  
control=result2.ctl   direct=true   parallel=true      sqlldr  
userid=/   control=result2.ctl   direct=true   parallel=true  
  当加载大量数据时（大约超过10GB），最好抑制日志的产生：        
SQL>ALTER   TABLE   RESULTXT   nologging;       这样不产生REDO
LOG，可以提高效率。然后在 CONTROL 文件中 load data 上面加一行：unrecoverable， 
此选项必须要与DIRECT共同应用。        
在并发操作时，ORACLE声称可以达到每小时处理100GB数据的能力！其实，估计能到 1－10G 就算不错了，开始可用结构
相同的文件，但只有少量数据，成功后开始加载大量数据，这样可以避免时间的浪费。 （注意：一般只能用ASCII码形式，切记要转换编码，不然导入数据为空） 
参考：1. <a style="color: navy; text-decoration: none;" href="http://www.psoug.org/reference/sqlloader.html" target="_blank">Oracle
SQL*Loader</a>  -- 英文，Sql Loader 的官方使用说明，包含多种类型的  Demo         2. <a style="color: navy; text-decoration: none;" href="http://www.myfaq.com.cn/2005September/2005-09-13/206612.html" target="_blank">sql loader的用法</a>  -- 列出了 sql loader 的选择参数的中文说明        
3. <a style="color: navy; text-decoration: none;" href="http://www.cnblogs.com/chinaray/archive/2008/04/18/1160466.html" target="_blank">使用SQL Loader导入大量数据，避免使用SQL频繁写库</a> -- 一个简单的例子，快带了解 Sql
Loader 的用法         4. <a style="color: navy; text-decoration: none;" href="http://www.yuanma.org/data/2006/0922/article_1573.htm" target="_blank">Oracle SQL Loader的详细语法</a>         5. <a style="color: navy; text-decoration: none;" href="http://soft.ccw.com.cn/programing/database/htm2008/20080925_509432.shtml" target="_blank">oracle sql loader全攻略</a> -- 还算名符其实。并讲了如何用 SQL *Plus 的 
spool 或 UTL_FILE 包生成数据文件         6. <a style="color: navy; text-decoration: none;" href="http://download.oracle.com/docs/cd/B10501_01/server.920/a96652/ch05.htm" target="_blank">SQL*Loader Control File Reference</a>   -- 英文，控制文件使用参考        
7. <a style="color: navy; text-decoration: none;" href="http://blog.csdn.net/s98/archive/2005/11/08/525387.aspx" target="_blank">学习oracle sql loader 的使用</a>          8. <a style="color: navy; text-decoration: none;" href="http://www.knowsky.com/388788.html" target="_blank">用
sqlloader(sqlldr)装载LOB数据</a>  -- LOB 的内类是一个外部文件，用 sql loader 导入到数据库        
9. <a style="color: navy; text-decoration: none;" href="http://jolly10.itpub.net/post/7268/466996" target="_blank">SQLLDR直
接加载几个参数的测试</a>         10.<a style="color: navy; text-decoration: none;" href="http://www.remote-dba.net/teas_rem_util18.htm" target="_blank">Maximizing SQL*Loader Performance</a>

页: [1]

Chinaunix's Archiver

sqlldr的用法