如何将文件中包含某关键字的行删除掉？syslog报警需求

djzhangxing

现在我的工作是这样，每天主要看syslog大于10M是什么原因导致的，但是有的时候可能机器硬件故障导致一些硬件报警，比如说关键字"disk_error"，需要永久忽略的怎么办呢？

1. 
   
2. 例：pc1、Pc2硬盘有故障，每天messages日志30M，其中大多关键字都是包含disk_error,所以每天就会报警出来，如何在日志服务器中messages文件中包含disk_error字段删除掉，
   
3. 日志目录：/log/pc1/messages和/log/pc2/messages，我该如何过滤呢？
   
4. 
   

复制代码

djzhangxing

各位好，是这样的，一台日志收集服务器上面会有全网的日志。我们这边判断是否大于10M 是用du -sk 大于 10240，比如说目录下
<code>
[root@cdn ~]#ls ./8.8.8.8/
messages maillog
[root@cdn ~]#du -sk ./8.8.8.8/
15624        .
</code>
像以上的情况就会报警，假如说messages中百分之80的字段都是包含disk_error的行，如何在du -sk的时候筛选出去，如果想刚刚大神所说grep -v 重定向另个文件，这刚总目录下du时候还是会大于10m的，
用sed //d 可以实现，但是我们领导说，日志的文件不能动，所以现在我比较麻烦！
<code>如何在du -sk执行的时候，过滤掉某个字段？</code>
<code>
#!/bin/bash
date=`date --date='1 day ago' +%Y-%m-%d`
ip=`awk '{print $1}' data.txt`
log=`awk '{print $2}' data.txt`
field=`awk '{print $3}' data.txt`

while read ip log field
do
sed  -i '/'$field'/d' /root/zx/$date/$ip/$log
done <  data.txt
</code>
我之前是这么写的，变量有点乱哈，其实最主要的sed  -i '/'$field'/d' /root/zx/$date/$ip/$log我用的是这条命令，最后判断是ok了，但是源文件被我修改了，不成立。

djzhangxing

这样漂亮点。
各位好，是这样的，一台日志收集服务器上面会有全网的日志。我们这边判断是否大于10M 是用du -sk 大于 10240，比如说目录下

1. 
   
2. [root@cdn ~]#ls ./8.8.8.8/
   
3. messages maillog
   
4. [root@cdn ~]#du -sk ./8.8.8.8/
   
5. 15624        .
   

复制代码

像以上的情况就会报警，假如说messages中百分之80的字段都是包含disk_error的行，如何在du -sk的时候筛选出去，如果想刚刚大神所说grep -v 重定向另个文件，这刚总目录下du时候还是会大于10m的，
用sed //d 可以实现，但是我们领导说，日志的文件不能动，所以现在我比较麻烦！

1. 如何在du -sk执行的时候，过滤掉某个字段？

复制代码

1. 
   
2. #!/bin/bash
   
3. date=`date --date='1 day ago' +%Y-%m-%d`
   
4. ip=`awk '{print $1}' data.txt`
   
5. log=`awk '{print $2}' data.txt`
   
6. field=`awk '{print $3}' data.txt`
   
7. 
   
8. while read ip log field
   
9. do
   
10. sed  -i '/'$field'/d' /root/zx/$date/$ip/$log
    
11. done <  data.txt
    

复制代码

我之前是这么写的，变量有点乱哈，其实最主要的sed  -i '/'$field'/d' /root/zx/$date/$ip/$log我用的是这条命令，最后判断是ok了，但是源文件被我修改了，不成立。

djzhangxing

嗯，我也是这么想的，但是不知道怎么和du -sk 结合起来，别如说messages中我想去掉disk_error字段的，
du -sk `sed /dnsmasq-dhcp/d messages`
du命令都是对文件的判断吧，怎么判断输出呢。
回复 10# helloclei


   

djzhangxing

这个,,,全网有几千台机器，假如说我想过滤100台，其中包含某个字段的，这样的话，会没必要的跑磁盘的吧，对另个文件导出-判断-再删除，谢谢哈，在等等大神看下。！回复 12# helloclei


   

djzhangxing

烦请，指点一二回复 14# houjun19830610


   

djzhangxing

前面和后面都明白。
#将获得的过滤字节数换算成M
_SIZE=`echo "scale=2;$_SUM_NO/1024/1024"|bc -l|sed 's/^\./0&/'`
这里是什么意思呢？
1024代表什么呢，我想转成单位K呢？


回复 19# qianqiaoo


   

djzhangxing

我明白一部分了啦。
_SIZE=`echo "scale=2;$_SUM_NO/1024/1024"|bc -l|sed 's/^\./0&/'`
"scale=2;-----保留2位小数
$_SUM_NO/1024/1024"|bc -l   ---------变量字节除以1024是k，再次除以1024是m
至于sed，我在研究哈。
回复 20# djzhangxing


   

djzhangxing

sed我也明白了，先感谢啊，灰常的感谢。

djzhangxing

1. 
   
2. [zx@cdn ~]$ ll messages
   
3. -rw-r--r-- 1 zx zx 15417267 Aug  2 02:10 messages
   
4. [zx@cdn ~]$ du -sb messages                  
   
5. 15417267        messages    ------------b
   
6. [zx@cdn ~]$ du -sk messages
   
7. 15056        messages           -------------Kb
   
8. [zx@cdn ~]$ du -sm messages
   
9. 15        messages                   -------------Mb
   
10. [zx@cdn ~]$ du -sh messages
    
11. 15M        messages
    
12. 但是↓
    
13. [zx@cdn ~]$ echo "scale=30;15417267/1024"|bc -l|sed 's/^\./0&/'
    
14. 15055.924804687500000000000000000000                                        -----------这个不应该是b换成km  应该是15056
    
15. [zx@cdn ~]$ echo "scale=30;15417267/1024/1024"|bc -l|sed 's/^\./0&/'
    
16. 14.703051567077636718750000000000                                              -----------这个应该是b换成mb 应该是15
    
17. 
    
18. 我们这里的脚本是根据du -sk判断的，主要的问题就是问下那个14.70...如何约等于15！不然的话数据会不准确的。
    

复制代码

回复 22# djzhangxing