[请教]大文件拷贝速度问题

moneynet

有一个比较大的物理文件filea,没有key,需要取出小部分数据到fileb(比如最近20天的数据,大概占10%),

请问以下方法哪个更快?

1.rpg 事先查出文件rrn范围,用rrn来读文件,读一条,写一条至新文件.

2.sql
    insert into fileb
    select * from filea where date>'2006-07-10'

3. sql (事先查出文件rrn范围)
    insert into fileb
    select * from filea where rrn(fileb)>900000

4.cpyf ,指定FROMRCD 参数

5.其他??

qingzhou

说效率应该是1的方法通过RPG处理会好些；说简便应该是通过2的方法一条SQL语句就搞定。
3、4方法都得先走查询记录RRN的步骤后才能执行，SQL会比CL命令更消耗系统资源些。

如果这个PF不是很夸张的话，还是用SQL语句来得简单。不要把问题搞得太复杂。

moneynet

原帖由 qingzhou 于 2006-8-3 11:04 发表
说效率应该是1的方法通过RPG处理会好些；说简便应该是通过2的方法一条SQL语句就搞定。
3、4方法都得先走查询记录RRN的步骤后才能执行，SQL会比CL命令更消耗系统资源些。

如果这个PF不是很夸张的话，还是用SQL ...

超过100G吧,打算用4做了,谢谢.

胖有型

支持4，到底是IBM的内部命令，效率应该是最高的

qingzhou

建议LZ每个测试过去，然后看看哪个时间最节省？哈哈~~~

然后把情况说说。。。

coolk

如果这个文件很大的话，觉得采取1或者3比较好点！1中还可以采取分段多作业同时进行！这就看的你需求了！^_^

[ 本帖最后由 coolk 于 2006-8-4 21:49 编辑 ]

fxf_china

下赌：4.cpyf ,指定FROMRCD 参数

胖有型

跟庄

hanyu

我以前测过，后来还是选的cpyf，大概每分钟300兆左右，单CPU的情况下应该cpyf最快了。

子樵

文件的记录数应该超过千万了.用2,3,4的风险都很高,机器差点跑都跑不完.
最好的方法是1,最重要的是前面有人提到的多进程处理,充分利用了系统资源是一个合理的方案.其实还是量的问题,很多时候量大就是问题.