免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 3368 | 回复: 11
打印 上一主题 下一主题

awk 调整日志格式的后续问题 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2011-09-22 11:19 |只看该作者 |倒序浏览
这次又要麻烦大家了帮忙看看了

日志记录范本:[19/09/2011 23:32:25:423 CST] AA=1;BB=;CC=3;

原有处理脚本:echo "[19/09/2011 23:32:25:423 CST] AA=1;BB=;CC=3;" | /usr/xpg4/bin/awk -F'[]=; &[]+' -v hn="$HOSTNAME" 'BEGIN{t=47;a["AA"]=2;a["BB"]=3;a["CC"]=4}{delete b;b[1]=$2" "$3;for(n=1;n++<tif(a[$n]!=""b[a[$n]]=$(n+1);printf hn",";for(n=0;n++<tprintf "%s",b[n]",";print""}'

当日志中有记录为空值时,输出就会变成:

qc-prd-ads3,19/09/2011 23:32:25:423,1,CC,3,,

BB=;没有值,但是语句会将 后面的CC代替 BB的值,有什么办法可以显示为 qc-prd-ads3,19/09/2011 23:32:25:423,1,,3,,

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
2 [报告]
发表于 2011-09-22 11:33 |只看该作者
这次又要麻烦大家了帮忙看看了

日志记录范本:[19/09/2011 23:32:25:423 CST] AA=1;BB=;CC=3;

原有处 ...
lightning 发表于 2011-09-22 11:19



awk -F'[....]+' ...
不要有那个+号,应该就可以了

$ echo 'AA=1;BB=;CC=3;' | awk -F'[=;]+' '{for(n=1;n<NF;n+=2)print $n"="$(n+1)}'
AA=1
BB=CC
3=

$ echo 'AA=1;BB=;CC=3;' | awk -F'[=;]' '{for(n=1;n<NF;n+=2)print $n"="$(n+1)}'
AA=1
BB=
CC=3

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-08-24 06:20:00综合交流区版块每日发帖之星
日期:2015-10-14 06:20:00IT运维版块每日发帖之星
日期:2015-10-25 06:20:00IT运维版块每日发帖之星
日期:2015-11-06 06:20:00IT运维版块每日发帖之星
日期:2015-12-10 06:20:00平安夜徽章
日期:2015-12-26 00:06:302016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-04-15 06:20:00IT运维版块每日发帖之星
日期:2016-05-21 06:20:00综合交流区版块每日发帖之星
日期:2016-08-16 06:20:002015七夕节徽章
日期:2015-08-21 11:06:17IT运维版块每日发帖之星
日期:2015-08-14 06:20:00
3 [报告]
发表于 2011-09-22 11:39 |只看该作者
回复 1# lightning


    BB=;CC
这里是不是有问题,被分割了,应该是filed separator,去掉+

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-08-24 06:20:00综合交流区版块每日发帖之星
日期:2015-10-14 06:20:00IT运维版块每日发帖之星
日期:2015-10-25 06:20:00IT运维版块每日发帖之星
日期:2015-11-06 06:20:00IT运维版块每日发帖之星
日期:2015-12-10 06:20:00平安夜徽章
日期:2015-12-26 00:06:302016猴年福章徽章
日期:2016-02-18 15:30:34IT运维版块每日发帖之星
日期:2016-04-15 06:20:00IT运维版块每日发帖之星
日期:2016-05-21 06:20:00综合交流区版块每日发帖之星
日期:2016-08-16 06:20:002015七夕节徽章
日期:2015-08-21 11:06:17IT运维版块每日发帖之星
日期:2015-08-14 06:20:00
4 [报告]
发表于 2011-09-22 11:40 |只看该作者
有人回复了,汗

论坛徽章:
0
5 [报告]
发表于 2011-09-22 12:07 |只看该作者
谢谢两位,嗯,下次多和两位学习awk 啊

论坛徽章:
0
6 [报告]
发表于 2011-09-22 12:47 |只看该作者
又一个问题:
我需要解决键值中多余的“逗号”,因为我用sqlldr 录入的时候以“逗号”分隔,如果不解决,那么将会录错字段,数据如下:

日志记录范本:[19/09/2011 23:32:25:423 CST] AA=1111;BB=22,22;CC=3333;

原有处理脚本:echo "[19/09/2011 23:32:25:423 CST] AA=1;BB=;CC=3;" | /usr/xpg4/bin/awk -F'[]=; &[]' -v hn="$HOSTNAME" 'BEGIN{t=47;a["AA"]=2;a["BB"]=3;a["CC"]=4}{delete b;b[1]=$2" "$3;for(n=1;n++<tif(a[$n]!=""b[a[$n]]=$(n+1);printf hn",";for(n=0;n++<tprintf "%s",b[n]",";print""}'
输出就会变成:

qc-prd-ads3,19/09/2011 23:32:25:423,1111,22,22,3333,,

请问如何 将 22,22中的逗号删除?

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
7 [报告]
发表于 2011-09-22 12:56 |只看该作者
又一个问题:
我需要解决键值中多余的“逗号”,因为我用sqlldr 录入的时候以“逗号”分隔,如果不解决,那 ...
lightning 发表于 2011-09-22 12:47



http://www.gnu.org/s/gawk/manual/gawk.html + gsub

论坛徽章:
0
8 [报告]
发表于 2011-09-22 13:14 |只看该作者
+ gsub
jason680 发表于 2011-09-22 12:56



    感谢了,我是这么加了一段,帮忙看看还有什么不妥之处吗?

/usr/xpg4/bin/awk -F'[]=; &[]' -v hn="$HOSTNAME" 'BEGIN{t=47;a["AA"]=2;a["BB"]=3;a["CC"]=4}{gsub(/,/,"";delete b;b[1]=$2" "$3;for(n=1;n++<tif(a[$n]!=""b[a[$n]]=$(n+1);printf hn",";for(n=0;n++<tprintf "%s",b[n]",";print""}'

论坛徽章:
0
9 [报告]
发表于 2011-09-22 13:14 |只看该作者
回复 6# lightning


    echo '[19/09/2011 23:32:25:423 CST] AA=1111;BB=22,22;CC=3333;'|sed -r 's/^/'$(hostname)'/g;s/\b\w+=//g;s/,//g;s/[]=; &[]/,/g;s/,+/,/g'

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
10 [报告]
发表于 2011-09-22 13:21 |只看该作者
感谢了,我是这么加了一段,帮忙看看还有什么不妥之处吗?

/usr/xpg4/bin/awk -F'[]=; &[]' -v ...
lightning 发表于 2011-09-22 13:14



加在最前面影响的是全域...
{gsub(/,/,"");delete b;....

单单就取值部份....
if(a[$n]!=""){gsub(/,/,"",$(n+1));b[a[$n]]=$(n+1)}
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP