请问：如何用python获取文件的最后一行，文件可能会比较大

lzzfriend

我主要是分析日志获取当前的进度等信息，
想取文件最后一行进行分析

贴上我的程序
def get_lastline(logfile):
    fd = open(logfile,'r')
    linecount = len(fd.readlines())
    print linecount
    targetLine = ''
    lineNo = 0
    while 1:
        mLine = fd.readline()
        if not mLine:
            print "find empty line:%s,mLine:%s" % (lineNo,mLine)
            if(lineNo >= linecount):
                break;
        lineNo += 1;
        if (linecount == lineNo):
            targetLine = mLine
            break
    fd.close()
    return targetLine
   
if __name__ == '__main__':
    filename='/home/lzh/movies/sample_h264_100kbit.mp4.log'
    lastline=get_lastline(filename)
    print lastline
   
但每次都在第0行跳出，我查看了一下，我的文件第一行是：
2013-08-12 18:05:48     PID=29946


那位大拿帮忙看一下，谢谢

GhostFromHeaven

Linux平台有一个tail命令，tail -f filename.log 就会打印文件最后新增加的内容

可以参考这个思路

timespace

回复 1# lzzfriend
fd.readlines()已经读到文件尾部了，然后while循环中fd.readline()肯定还是尾部，不跳出才怪了。。。
在"while 1:"前面加一句“fd.seek(0)”，可以重置文件指针为文件开头。


   

conn2011

第一，你既然已经readlines了为什么不把最后一行放入变量？
第二，你可以用seek跳转到文件末尾

lzzfriend

谢谢3、4楼，找到了我问题的原因，谢谢

timespace

回复 5# lzzfriend
看你提到文件可能会比较大，那么fd.readlines()就不太合适，它会把整个文件读入内存并生成list，这是爆内存的节奏。我这里有个内存占用相对可控的demo

1. #!/usr/bin/env python
   
2. import os
   
3. import sys
   
4. 
   
5. def get_last_n_lines(logfile, n):
   
6.     blk_size_max = 4096
   
7.     n_lines = []
   
8.     with open(logfile, 'rb') as fp:
   
9.         fp.seek(0, os.SEEK_END)
   
10.         cur_pos = fp.tell()
    
11.         while cur_pos > 0 and len(n_lines) < n:
    
12.             blk_size = min(blk_size_max, cur_pos)
    
13.             fp.seek(cur_pos - blk_size, os.SEEK_SET)
    
14.             blk_data = fp.read(blk_size)
    
15.             assert len(blk_data) == blk_size
    
16.             lines = blk_data.split('\n')
    
17. 
    
18.             # adjust cur_pos
    
19.             if len(lines) > 1 and len(lines[0]) > 0:
    
20.                 n_lines[0:0] = lines[1:]
    
21.                 cur_pos -= (blk_size - len(lines[0]))
    
22.             else:
    
23.                 n_lines[0:0] = lines
    
24.                 cur_pos -= blk_size
    
25.             fp.seek(cur_pos, os.SEEK_SET)
    
26. 
    
27.     if len(n_lines) > 0 and len(n_lines[-1]) == 0:
    
28.         del n_lines[-1]
    
29.     return n_lines[-n:]
    
30. 
    
31. def main():
    
32.     if len(sys.argv) != 3:
    
33.         sys.exit('usage: %s logfile n_lines' % sys.argv[0])
    
34.     for line in get_last_n_lines(sys.argv[1], int(sys.argv[2])):
    
35.         print line
    
36. 
    
37. if __name__ == '__main__':
    
38.     main()
    

复制代码

注：
1. 不用读取整个文件，从文件尾部开始，以4KiB为一个Block向前迭代，直到取到指定的行数，这里假设你只关心后面若干行，内存占用不大。
2. 如果日志文件是动态增长的，而且写日志的程序和分析日志的程序没有做进程间同步，那么就要考虑一点解析日志的容错性，比如某次读取的最后一行是不完整的。合理的处理方式应该是每次最多读取最后两行，如果最后一行格式不对，应该取倒数第二行。

   

timespace

如果不执着于Python实现，拿subprocess调用shell的tail最简单了。。。

kgu1987

调用shell命令快捷方便。

tiankafeiwu

那为什么不直接fd.seek(linecount-2)呢？然后在fd.readline()回复 3# timespace


   

ljwsy

我也是习惯用shell，下面是取得CPU温度的代码（FB系统）：

1. #!/usr/local/bin/python
   
2. 
   
3. import commands
   
4. 
   
5. cmd="sysctl -a | grep hw.acpi.thermal.tz0.temperature"
   
6. agv=0.0
   
7. for a in range(4):
   
8.         (t,tmp)=commands.getstatusoutput(cmd)
   
9.         t=tmp.split(':')
   
10.         tmp=t[1].split('.')
    
11.         agv=agv+int(tmp[0])
    
12. print  agv//4
    

复制代码