如何检索持续更新日志中的关键词

zhaiyuzhen

我想做一个任务，每隔2分钟检索不断更新日志中key1、key2、key3这三个关键字，如果检索到，则发警告。由于是定时任务，我不想让前次检索的结果影响下次的检索，从而导致误报，不知道各位有什么好的建议？谢谢！

hz_oracle

#!/bin/bash
#
file=$1
n2=`cat $file|wc -l`
n1=`cat $file|wc -l`
while true
do
n=`expr $n2 - $n1`
tail -n $n $file  | grep "key" >/dev/null
if [ $? -eq 0 ];then
echo "ok"
fi
n1=`cat $file|wc -l`
sleep 10
n2=`cat $file|wc -l`
done

zhaiyuzhen

感谢2楼，引入n1，n2这个思路，我还需要再修改一下。感谢大神！
如果日志不是持续更新，三楼思路可行。假设日志前50行有关键词key1，检查出来也告警了。下个周期，日志里没有产生key1，但是前50行里有，所以会误报。。。。

zhaiyuzhen

sorry，误解3楼大神了，用三楼方法也能实现。。。。

zhaiyuzhen

可能我没表达清楚我的想法：
日志文件片段：

1. 2016-06-29 14:04:55.337:INFO:oejdp.ScanningAppProvider:Deployment
   
2. 2016-06-29 14:04:55.340:INFO:oejdp.ScanningAppProvider:Deployment
   
3. 2016-06-29 14:04:55.342:INFO:oejd.DeploymentManager:Deployable ad
   
4. 2016-06-29 14:04:55.386:WARN:oejw.WebInfConfiguration:Can't reuse
   
5. 2016-06-29 14:05:00.711:INFO:/ws:No Spring WebApplicationInitiali
   
6. 2016-06-29 14:05:01.107:INFO:/ws:Initializing Spring root WebAppl
   
7. 14:05:01,107 INFO  [ContextLoader] Root WebApplicationContext: in
   
8. 14:05:01,163 DEBUG [StandardServletEnvironment] Initializing new
   
9. 14:05:01,164 DEBUG [StandardServletEnvironment] Adding [servletCo
   

复制代码

第一次从首行搜索到末行（比如1-4行），完成后取当前系统时间为time1（14:05:00），下次再扫描的时候先从匹配time1的行开始（也就是第5行），直到末行，如此重复。
不知道该如何实现，谢谢各位！

sunzhiguolu

提供一个思路, 将上一次查询结果的最后一条记录的 行号 作为 下一次查询的 KEY 保存起来, 在下一次查询的时候取出这个 KEY 与其进行匹配.

elu_ligao

每隔两分钟执行脚本：
1.把原日志日志重命名                              mv log log.tmp
2.检索重命名的日志有无你要的key             grep  key  log.tmp
3.把重命名的日志追加到另一个完整日志      cat log.tmp >> log.date

zhaiyuzhen

9楼方案不行，因为我把log mv之后系统并不会生成新的日志文件。8楼方案记录行号的方式可行，我今天折腾一天，总想用时间点，无奈没法实现。
贴上我的脚本：

1. folder=/var/log/
   
2. oldfile=`cat filename`
   
3. newfile=`ls $folder -ltr |tail -n 1|cut -c 45-90`
   
4. echo $newfile > filename
   
5. ct=`cat /root/ckd_nub`
   
6. > silog.txt
   
7. tail -n +$ct  $folder$newfile > tmp.txt
   
8. #for key in JedisConnectionException SocketTimeoutException OutOfMemoryError SQLException ConnectException aaa
   
9. for key in  aaa bbb ccc ddd 333
   
10. do
    
11. if cat tmp.txt |grep -q -w $key; then
    
12. cat tmp.txt |grep -w $key >> silog.txt
    
13. echo "find keys:$key!!!!!"
    
14. fi
    
15. done
    
16. echo `awk 'END{print NR}' $folder$newfile` > ckd_nub
    

复制代码

为什么引入newfile，oldfile，是因为我想搜寻最新更改的日志，并且有可能上次检索的文件和这次检索的文件不是同一个文件。所以做了判断，两次检索如果是同一个文件，直接读取从上次检索过的行开始