一个python程序优化问题

icymirror

回复 1# anna_bi

• 如果文件不是非常大，同时内存足够的情况下，把文件内容的读取和数据处理分开，可以把读取集中处理，减少每次读一小部分带来的效率损耗；同时，由于是读取之后处理，所有数据是在内存中，效率会有一定提升。
• 因为你的数据处理是针对每条记录进行的，处理过程相对独立，可以通过引入multiprocessing.Pool，使用map来使用多个进程来处理数据，去提高处理速度，但是如果数据量不大的情况下，或者CPU core只有一个，速度不会有明显提升，甚至会有下降可能出现。