读遍一个大文件有什么好的方法吗?

wildfish

我说我的想法：
1。重整
2。rrn分段
3。submit多个rpg，并且确定首尾rrn,进行并行计算。
我觉得这样能够缩短时间。

tme45

依你这么说，那就是设计该大文件时，根本不应该这么大，可以把它分拆成多个。

我在RS6000 DB2上处理过几十T的数据，如果不分表的话，可能出现几个T的表，如果不分拆的话，就算有机器可以搞定，但也没有这样的存储设备支持得了那样的速度，分表后没有任何问题。

tme45

把该表分拆吧，我在rs6000 DB2上处理几十T的数据也是这样设计的

Eagle_wolf

原帖由 wildfish 于 2006-1-4 19:38 发表
我说我的想法：
1。重整
2。rrn分段
3。submit多个rpg，并且确定首尾rrn,进行并行计算。
我觉得这样能够缩短时间。

是个方法,不过要写很多个程序,而且以后数据在增加还要改程序,每次执行程序之前还要重整(这个的时间也不短)
也想过用share open的方法,但是它要求在同一个job下,不能并行运行程序

Eagle_wolf

原帖由 tme45 于 2006-1-4 20:23 发表
把该表分拆吧，我在rs6000 DB2上处理几十T的数据也是这样设计的

恩,这个是设计的问题,如何拆分?

Eagle_wolf

下午利用线程试了一下,利用共享文件指针的方法确实能提高很多,单进程12000条记录,没条记录用1/100000秒去处理,需要140秒,而多线程(14)同样情况下只用了不到50秒
但是由于rpgle不支持递归,只能c写 但是c操作database file 实在是太费事了 不太好

liu__jiang

原帖由 Eagle_wolf 于 2006-1-4 16:47 发表
需要对符合某些条件的数据作特殊处理,只能遍历整个文件了

个人意见，不必那么复杂，你不是说符合某些条件么？弄一个复合KEY，如TOSKEY，用这个TOSKEY  去  READE   在FILE，不知能不能满足楼主需要（只找符合条件的，根本不必一条一条去读）；另外建议也可以采用OPNQRYF试试。

coolk

OPNQRYF应该更加慢的！

理想状态应该是对线程、多作业或者将档案拆分！

^_^

[ 本帖最后由 coolk 于 2006-1-10 13:06 编辑 ]

胖有型

没有完全领会楼主的意图，但是如果确实只是要读遍一个大文件，无非就是先DSPFD取出总记录数（记得加加上deleted的，不然就不准了），然后除一下你准备并行的总进程数，得到每个进程要处理的记录条数，最后CALL   RPG程序的时候，带上一个起始记录号，一个结束记录号就OK了。

pbj968

原帖由 tme45 于 2006-1-4 20:20 发表
依你这么说，那就是设计该大文件时，根本不应该这么大，可以把它分拆成多个。

我在RS6000 DB2上处理过几十T的数据，如果不分表的话，可能出现几个T的表，如果不分拆的话，就算有机器可以搞定，但也没有这样的存 ...

应该不是分表吧？ 我想是将一个表的分数据块来存放,如一个表的2005年数据放在一个数据块，2006年数据放在另一个数据块，象很厚的书先分部分在分章，这查询时就较快；不知是否这样请教!