linux下对于日志分析统计哪种脚本语言比较好

woodream

例如：统计nginx访问日志（n个log文件，共计100G）中“某开始时间”至“某结束时间”共有多少的独立IP（排除重复IP）数，或许还需要把排除重复的IP到出到其他文件（或数据库中），类似这样的操作应该用那种脚本来处理呢？

现在我知道有 perl, python, shell(bash|awk|sed)如果有其他的好方法，麻烦请指出。

补充一下，好的含义可以是“编辑灵活便于理解和修改”，“也可以是执行效率高”。多谢各位大大

waker

自己掌握比较好的那种比较好

惟吾无为

自己掌握比较好的那种比较好
+1

Shell_HAT

自己掌握比较好的那种比较好
+2

沉默_King

自己掌握比较好的那种比较好
+3

qq5910225

这个东西想高效的话最好化整为零，每小时采集一次上一小时的数据然后进行入库，然后在通过数据库进行数据分析，毕竟，数据库是专门用来分析数据的。而且你至少能得到上一小时之前的所有数据。比你攒好几天日志，在统一处理好的多。这样的好处就是你无论用何种语言进行入库都无所谓了，毕竟每次处理的数据量小了。

woodream

正如5楼所说，我只懂点bash，其他一律不了解呵呵。
不过多谢7楼的打打给出的解决方案

cjaizss

我不懂perl,但我可以用shell/awk/sed很好的统计，那么对我来说，perl就是垃圾了，因为我不懂。
合适的才是好的。

沉默_King

我不懂perl,但我可以用shell/awk/sed很好的统计，那么对我来说，perl就是垃圾了，因为我不懂。
合适的才是 ...
cjaizss 发表于 2011-11-17 15:35

支持...