求助！！菜鸟求帮助！

1234zhuxu

现在小弟有这样一个需求，要把一个文件夹（/root/dns_log）下的文件数据统一格式，以方便导入到数据库中。
文件有好多个，文件如dns2011071303.log
单个文件处理写了个awk的，不会写，瞎写的
awk '{print substr($1,33,3), substr($1,41)" "substr($2,1,length($2)-4),split($6,D,"#"),D[1],split(D[1],ip,"."),ip[1],ip[2],ip[3],ip[4],substr(D[2],1,length(D[2]-1)),$8,$10,$11,$12,$13}' dns2011071003.log | awk '{print $1,$2,$3,$5,$7,$8,$9,$10,$11,$12,$13,$14,$15,$16}' >tianjin

我现在想写一个脚本，把文件夹下的log文件名传给这个awk，无奈，真的不会写啊！
请高手帮助！

linux_kim

没明白 你要做什么？

1. awk '{print FILENAME}' | uniq | /root/dns_log/*.log

复制代码

??

既然soso

不太理解你要做什么，但是写了一个类似的例子给你参考。

#!/bin/sh

path="/root/dns_log"
outpath="tianjin"

logs=`ls $path`

for a in $logs
do
gawk -F '['  '{print $2}' $a >>outpath

done

1234zhuxu

回复 2# linux_kim


    我想做的是把这个文件夹下的n多日志文件经过脚本处理放到一个或几个文件中去，不知道我这么说明不明白？

rdcwayx

请给出原始文件例子和要求的输出。

ly5066113

回复 1# 1234zhuxu


try:

1. awk '{split($6,D,"#");split(D[1],ip,".");print substr($1,33,3),substr($1,41)" "substr($2,1,length($2)-4),D[1],ip[1],ip[2],ip[3],ip[4],substr(D[2],1,length(D[2]-1)),$8,$10,$11,$12,$13}' /root/dns_log/*.log > tianjin

复制代码

1234zhuxu

源文件是这样的
/data/namedqlog/aiquery_192.168.4.6.log:10-Jul-2011 03:00:00.006 aiqueries: info: client 117.136.1.254#4076: aiquery: m.hotmail.com IN A + 0 1
/data/namedqlog/aiquery_192.168.4.6.log:10-Jul-2011 03:00:00.006 aiqueries: info: client 117.136.1.105#63085: aiquery: api.weibo.cn IN A + 0 1
/data/namedqlog/aiquery_192.168.4.6.log:10-Jul-2011 03:00:00.006 aiqueries: info: client 117.136.1.101#31783: aiquery: www.google.com IN A + 0 0
/data/namedqlog/aiquery_192.168.4.6.log:10-Jul-2011 03:00:00.008 aiqueries: info: client 221.178.209.156#48676: aiquery: stat.sd.360.cn IN A + 0 0

然后我想得到是这样的

4.6 10-Jul-2011 03:00:00 117.136.1.254 117 136 1 254 4076 m.hotmail.com A + 0 1
4.6 10-Jul-2011 03:00:00 117.136.1.105 117 136 1 105 63085 api.weibo.cn A + 0 1
4.6 10-Jul-2011 03:00:00 117.136.1.101 117 136 1 101 31783 www.google.com A + 0 0
4.6 10-Jul-2011 03:00:00 221.178.209.156 221 178 209 156 48676 stat.sd.360.cn A + 0 0

1234zhuxu

现在就是这个日志文件是按小时上传到服务器的，我需要把每个文件中的数据格式化成数据库中需要的数据，
所以想写个shell让他自动完成

yinyuemi

1. 
   
2. sed -r 's/^[^.]+\.[^.]+\.//;s/\./ /2;s/log://;s/\.[^ ]+ aiqueries: info: client / /;s/([0-9]+)\.([0-9]+)\.([0-9]+)\.([0-9]+)/& \1 \2 \3 \4/;s/#/ /;s/: aiquery://;s/ IN//' file
   

复制代码

rdcwayx

awk 自带 FILENAME 变量

1. awk '{split(FILENAME,a,"."); print a[3]"."a[4], $1, $2, $6,$8,$10,$11,$12}' *.log

复制代码