請問 mmap 的使用問題

KFC_123

我想用 mmap 來讀取一個很大 (幾G)的文本文件, 文件中的格式是每行有五個數字 (是文本不是二進位資料), 我原來用文本讀取命令來讀取行的

1. 
   
2. self.file = open("data.txt, "r")
   
3. for linenum, line in enumerate(myfile):
   
4.      temp = line.split()
   
5.      ...
   

复制代码

但這樣效率很低. 後來改用 mmap

1. import mmap
   
2. import contextlib
   
3. 
   
4. with open('data.txt', 'r') as f:
   
5.     with contextlib.closing(mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ)) as m:
   
6.         m.seek(0)
   
7.         print(m.readline())
   

复制代码

但這樣有兩個問題

1) 不能再用 for linenum, line in enumerate(myfile): 來列舉所有行了, 試過改為 for linenum, line in enumerate(m): 也不行
2) 讀出來的行很奇怪, 開頭有 b' 結尾是 \r\n. 例如,  b' 4 5 1 6 8 \r\n' 為甚麼會多了個 b' 而尾端又多了 \r\n, 怎樣才能讀出那幾個數字?
3) 由於 1) 實現不了, 請問怎樣才能一行一行讀進來直到個文件讀完為止?

謝謝

106033177

回复 1# KFC_123
你自己记一下数不行吗？

1.    
   
2. with open('data.txt', 'r') as f:
   
3.     m=mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ)
   
4.     linenum=0
   
5.     line=m.readline()
   
6.     while line:
   
7.         linenum+=1
   
8.         line=m.readline()

复制代码

106033177

回复 1# KFC_123
全部映射到内存跟直接打开迭代效率有差别吗？

pytoon

我也想知道

回复 3# 106033177

Kabie

我有时候碰到性能问题是因为用了enumerate

手动追踪行号试试。。。