grep -v 可以实现以一个文件给出的内容为过滤列表吗？

shamandalie

今天在分析iis的log，我想观察下百度蜘蛛的来访纪录，发现有很多的都是假的百度蜘蛛。我就想把这些ip给过滤掉

现在还是用的这种土鳖方法。。。。有什么好的方法可以处理吗？
grep -v "113.98.254.245"| grep -v "117.21.220.245"| grep -v "117.28.255.53"| grep -v "117.34.73.70"| grep -v "123.125.67.200"| grep -v "175.6.7.78"| grep -v "183.91.40.144"| grep -v "220.181.165.139"| grep -v "220.181.165.197"| grep -v "220.181.51.203"| grep -v "221.236.173.82"| grep -v "222.73.139.72"| grep -v "42.120.49.62"| grep -v "58.215.190.84"| grep -v "60.172.229.61"| grep -v "117.28.255.37"| grep -v "110.81.155.232"


-------------假蜘蛛IP---------------------------------
113.98.254.245
117.21.220.245
117.28.255.53
117.34.73.70
123.125.67.200
175.6.7.78
183.91.40.144
220.181.165.139
220.181.165.197
220.181.51.203
221.236.173.82
222.73.139.72
42.120.49.62
58.215.190.84
60.172.229.61
117.28.255.37
110.81.155.232

yestreenstars

这种问题用awk比较适合~

1. awk 'NR==FNR{a[$0];next}!($0 in a)'

复制代码

blackold

回复 1# shamandalie


    可以使用 grep -Fvf ip.txt logfile 啊。

Herowinter

回复 3# blackold
黑哥v5，学习了。


   

blackold

回复 4# Herowinter


    算是 grep 基本用法吧。

    相互学习!

shamandalie

回复 3# blackold

我试试


   

cuituesday

回复 5# blackold

又学了一招
   

jeffreyst

回复 3# blackold


    黑哥V5，87！ 学习下，mark！

helloworld_gm

grep --help看说明
-v 过滤
-f 通过文件来匹配过滤

一切都可以--help解决

西厢了个梦

学习了 又学了一招