如何将文件中包含某关键字的行删除掉？syslog报警需求

helloclei

回复 11# djzhangxing


作为小白我能想到的笨办法如下：
第一步：sed  '/disk_error/d'  /log/pc1/messages > /tmp/messages
第二步：然后du  -sk  /tmp/messages
第三部：得到了du的结果之后将/tmp/messages删掉。

djzhangxing

这个,,,全网有几千台机器，假如说我想过滤100台，其中包含某个字段的，这样的话，会没必要的跑磁盘的吧，对另个文件导出-判断-再删除，谢谢哈，在等等大神看下。！回复 12# helloclei


   

houjun19830610

回复 10# helloclei


    这个简单。

djzhangxing

烦请，指点一二回复 14# houjun19830610


   

expert1

syslog收集后用hadoop来处理啊，或者是gearman，此外还有商业的软件专门做日志分析的，否则10G+的，脚本根本搞不定的。

houjun19830610

回复 15# djzhangxing


    大家互相学习吧，指点谈不上。感觉脚本写得有点麻烦。

chengchow

我想你可以尝试分几步去完成
for i in `find /logs -type f -size 10M`
do
    grep -q 'disk_errors' $i
    if [ `echo $?` != 0 ];then
        echo $i
    else
       grep -vi 'disk_errors' $i > /tmp/$i.bakk
    fi
done
find /tmp/*.bakk -type f -size 10M
/bin/rm -rf /tmp/*.bakk

qianqiaoo

#!/bin/bash
#文件名
_FILENAME=access_log
#获得过滤后的内容
_NO=`sed '/127.0.0.1/d' $_FILENAME`
#获得过滤后的字节数
_SUM_NO=`echo $_NO|wc -L`
#将获得的过滤字节数换算成M
_SIZE=`echo "scale=2;$_SUM_NO/1024/1024"|bc -l|sed 's/^\./0&/'`
#判断是否告警
if [ $_SIZE -ge 10 ]
then
  echo $_SIZE
fi

不知道这样能否满足你的要求

djzhangxing

前面和后面都明白。
#将获得的过滤字节数换算成M
_SIZE=`echo "scale=2;$_SUM_NO/1024/1024"|bc -l|sed 's/^\./0&/'`
这里是什么意思呢？
1024代表什么呢，我想转成单位K呢？


回复 19# qianqiaoo


   

djzhangxing

我明白一部分了啦。
_SIZE=`echo "scale=2;$_SUM_NO/1024/1024"|bc -l|sed 's/^\./0&/'`
"scale=2;-----保留2位小数
$_SUM_NO/1024/1024"|bc -l   ---------变量字节除以1024是k，再次除以1024是m
至于sed，我在研究哈。
回复 20# djzhangxing