python操作文件的问题，求帮忙

luoyonghao

有一个日志文件，会不断生成内容，我想用python把里面的内容逐行取出来插到数据库里，
现在我是每天半夜for log in f.readlines() 这样逐行取出来去insert.
有什么办法让他实时监控这个文件，有新内容就即时插入，没有就等待，避免重复插入。
求指点！

luoyonghao

我自己搞定了诶
f = open("d:\\123.txt",'r')
while True:
   
   for log in f.readlines():
      print log,

goofool

你这样写，如果log太大，不都把内存吃光了吗

readline不会读取全部文本

1. def print_f(file):
   
2.     while True:
   
3.         line = file.readline()
   
4.         if line:
   
5.             yield line
   
6. 
   
7. f = open("test.txt")
   
8. for i in print_f(f):
   
9.     print(i,end="")

复制代码

Fl_wolf

你要先判断文档是否增加了。。不然肯定耗死内存，，

cuteorange

import signal
import sys

def print_file(file):
    while True:
        line = file.readline()
        if line:
            yield line

def sig_handler(sig, frame):
    # print sig, ":", frame
    # write back the latest offset
    f = open('counter', 'w')
    f.write(str(length))
    print length
    f.close()
    sys.exit(1)


signal.signal(signal.SIGINT, sig_handler)

length = 0
try:
    # get the offset of last read
    f = open('counter')
    line= f.readline()
    f.close()
    if line:
        length = int(line)
    else:
        length = 0
except IOError as e:
    length = 0


f = open('data.txt')
f.seek(length)
for i in print_file(f):
    print i
    length += len(i)
f.close()

luoyonghao

goofool 发表于 2015-03-13 14:31
你这样写，如果log太大，不都把内存吃光了吗

readline不会读取全部文本

多谢大神，我google一下yield这个东西

luoyonghao

回复 5# cuteorange


    这个是计算行数 然后打印的吧 python readlines就是按行号打印的么？比如当前文件有10行 全部读完清空文件 readlines会从11行开始读，是这样么？

luoyonghao

回复 5# cuteorange


    这个是计算行数 然后打印的吧 python readlines就是按行号打印的么？比如当前文件有10行 全部读完清空文件 readlines会从11行开始读，是这样么？

cuteorange

luoyonghao 发表于 2015-03-24 09:54
回复 5# cuteorange

把上次已经读了的行数记下来