免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 4223 | 回复: 4
打印 上一主题 下一主题

文本与数据库处理的问题 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2011-10-18 16:28 |只看该作者 |倒序浏览
20可用积分
本帖最后由 saerbili 于 2011-10-18 16:59 编辑

有一个log文件是一直在记录的,我插入数据库,但是怎么样可以让有更新就插入没更新就等待呢?
或者插入到最后一行就等待,进来一行就插入一行
import os

import sqlite3

logfile = open('qqlogin.log','r')

f=logfile.readlines()

conn = sqlite3.connect("audit.db3")

cur = conn.cursor()

for i in f:

    n=i.split()

    conn.execute('INSERT INTO qqlog(date,date1,time,type,id,qq) VALUES ("%s","%s","%s","%s","%s","%s")'%(n[0],n[1],n[2],n[4],n[7],n[6]))

conn.commit()

logfile.close()

conn.close()

最佳答案

查看完整内容

你这个问题有好几种处理方法:1.如果qqlogin.log文件可以自己追加的话,每次从qqlogin.log文件读完数据后,追加一行结束标志,比如“### 2011-10-19 12:23:12 ###”表示这行以上的记录到前面结束行时是在这个时间导入到数据库了。这样的话,下次读取可以以这行标志开始到结束,当然也可以从反方向读取。2.如果qqlogin.log文件不能改的话,看的出qqlogin.log文件每行就是一个log,而且有时间,可以通过时间来判断,比方说:这次导入 ...

论坛徽章:
0
2 [报告]
发表于 2011-10-18 16:28 |只看该作者
你这个问题有好几种处理方法:

1.如果qqlogin.log文件可以自己追加的话,每次从qqlogin.log文件读完数据后,追加一行结束标志,比如“### 2011-10-19 12:23:12 ###”表示这行以上的记录到前面结束行时是在这个时间导入到数据库了。这样的话,下次读取可以以这行标志开始到结束,当然也可以从反方向读取。

2.如果qqlogin.log文件不能改的话,看的出qqlogin.log文件每行就是一个log,而且有时间,可以通过时间来判断,比方说:这次导入的数据,把最后一条数据的datetime单独记录下来,下次导入的话,通过这个datetime来限定,最好也是通过反方向导入数据。



其实像你这样的情况还可以有很多解决的方法,但上面两种是比较简单,实际一点。

论坛徽章:
0
3 [报告]
发表于 2011-10-19 08:38 |只看该作者
加个外置无限循环读文件

论坛徽章:
0
4 [报告]
发表于 2011-10-19 14:28 |只看该作者
文件的行号是唯一的;
在数据库中保存文件的行号作为标识;
在往数据库里写入一行时, 先检查该行的行号在数据库中是否已经存在, 如果不存在, 则写入, 如果存在, 则继续下一行 ...

论坛徽章:
2
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:57:09
5 [报告]
发表于 2011-10-19 19:27 |只看该作者
pyinotify监视文件是否改变,改变了就去读...
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP