如何提高文本文件处理的速度

大梦

如何提高文本文件处理的速度

有如下三个文本文件，内容举例说明如下：
ref_col1.del：
A1|IDA1
A2|IDA2
A3|IDA3

ref_col2.del：
B1|IDB1
B2|IDB2
B3|IDB3

fact_dsn.del：
A1|B1|Name1|Address1|Tel1
A2|B2|Name2|Address2|Tel2
A3|B3|Name3|Address3|Tel3
A4|B4|Name4|Address4|Tel4
A5|B5|Name5|Address5|Tel5
A6|B6|Name6|Address6|Tel6

ref_col1.del与ref_col2.del文件的内容不会很多，只是转换fact_dsn.del时的一些参照，fact_dsn.del有大量数据，可能有上千万行，现在想根据前两个文件的内容进行参照，来修改fact_dsn.del文件中的前两个字段。请各位大侠支招，如何去提高文件处理的速度？
谢谢！

hoxide

老实说这么大的文件应该用数据库了,

如果fact_dsn.del中的每条数据定长, 那么还好办, An,Bn的位置都可以算出来, ftell到那里,  然后读出An, Bn, ref_col不大, 所以把数据直接存成dict好了,
用has_key来判断An,Bn是否在这个字典里, 在就作修改, 修改的位置也用ftell确定.

为了安全起见, 最好每100or1000条同步一下.

如果不定长~~哈哈, 那就要整个搜索一遍文件, 要修改还要把后面的数据挪一下, 天哪, 要加速的话你几乎要设计一个小型数据库了.

所以为了简洁性和安全性(文件操作你能保证他安全吗? 数据同步到硬盘了吗) 强烈建议用数据库解决这个问题, 如果觉得mysql都太大, 建议用sqlite,
py社区有一些pysqlite的资料, 很不错的.

大梦

用数据库当然可以！
想用Python做一个ETL工具，所以想直接操作文本！