读取文件那种方法效率更好？

justu78

zhlong8 发表于 2013-09-12 10:16
精神可嘉但真没什么意思，文件小差不了多少，文件大不可能全读，至于中间地带欢迎贴出测试及结果

我的工作对这个比较敏感，因为我的程序要做成千上万次的迭代运算，每次运算都要生成，读取某些文件，有大有小（可能上万行），所以不同code读取文件的细微时间差异，到最后会叠加的，最后会导致我的程序完成同样的任务运行时间大不相同，我当然是希望越快越好。
我不觉得好的code会没什么意思，冗长低效的code和简明高效的code完成同样的事情，哪怕非常简单的事情，我肯定选后者，写程序的人不应该这么想。
我用的测试文件是1万多行的，测试很简单，自己都可以试，网上也有人测试过，我就不帖了。

zhlong8

回复 11# justu78


    重复读一个文件（无视缓存）时1,10,100万行都是全读快，快3-5倍。但是1000万行全读直接假死了（4G内存64位win7 64位Perl），按行1.7秒。看不出来哪种更好

grshrd49

看情况吧 大的超出内存就用<>
小就直接放数组了

wxlfh

内存够大，当然一次性读取速度快；一次性内存放不下，那就老老实实一行行读吧。

qq27898

偷偷学习中。。。。

stanley_tam

对于文件略大的，放数组会生成一大堆变量，放哈希里面会不会好点。{:3_188:}

justu78

zhlong8 发表于 2013-09-12 17:30
回复 11# justu78

1000万行我这个工作不会有，所以我打算还是全读，而且是整个文件读入一个字符串，不是数组，读入数组也慢。

justu78

stanley_tam 发表于 2013-09-13 10:08
对于文件略大的，放数组会生成一大堆变量，放哈希里面会不会好点。

就一个数组，怎么会一大堆变量？对读取整个文件而言，哈希没有什么优势

stanley_tam

问题是perl数组里面的元素就是变量，量大的还是避免数组比较好，很耗内存的说{:3_193:}
回复 18# justu78


   

justu78

stanley_tam 发表于 2013-09-13 13:39
问题是perl数组里面的元素就是变量，量大的还是避免数组比较好，很耗内存的说
回复 18# justu78 ...

所以我选择读取整个文件到一个字符串变量