免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12
最近访问板块 发新帖
楼主: 251744647
打印 上一主题 下一主题

[文本处理] nginx log 转成csv格式 [复制链接]

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
11 [报告]
发表于 2016-07-29 00:26 |只看该作者
回复 1# 251744647

>> ...关键就是双引号[]之间的空格不要转换...

$ awk -f csv.awk a.log
1.11.1.1,-,-,[28/Jul/2016:03:00:23 +0000],"GET / HTTP/1.1",304,0,"-","Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko"


$ cat csv.awk
BEGIN{
  OFS = ","
  t = split("[]\"\"",a,"");
  for(n=1;n<t;n+=2){
    sn[a[n]]=a[n+1]
    re = re a[n]
  }
}
function tocsv(){
  c = 0
  for (n = 1; n <= NF; n++) {
    if(q != ""){
      if($n~"["sn[q]"]$"){
        q = ""
      }
      $c = $c FS $n
      continue
    }
    if(match($n,"^(["re"])",a)){
      q = a[1]
      $(++c) = $n
      if($n ~"["sn[q]"]$"){
        q = "";
      }
      continue
    }
    $(++c) = $n
  }
  NF = c
}
{
  tocsv();
  print
}

   

论坛徽章:
7
2015年迎新春徽章
日期:2015-03-04 10:01:442015年亚洲杯之科威特
日期:2015-04-17 17:27:042015亚冠之阿尔萨德
日期:2015-07-22 15:25:4015-16赛季CBA联赛之吉林
日期:2016-04-11 13:57:30操作系统版块每日发帖之星
日期:2016-06-24 06:20:00每日论坛发贴之星
日期:2016-06-24 06:20:0015-16赛季CBA联赛之辽宁
日期:2017-05-09 12:31:45
12 [报告]
发表于 2016-07-29 11:43 |只看该作者
是的,没有错。这儿就是想练练awk.回复 3# reyleon


   

论坛徽章:
7
2015年迎新春徽章
日期:2015-03-04 10:01:442015年亚洲杯之科威特
日期:2015-04-17 17:27:042015亚冠之阿尔萨德
日期:2015-07-22 15:25:4015-16赛季CBA联赛之吉林
日期:2016-04-11 13:57:30操作系统版块每日发帖之星
日期:2016-06-24 06:20:00每日论坛发贴之星
日期:2016-06-24 06:20:0015-16赛季CBA联赛之辽宁
日期:2017-05-09 12:31:45
13 [报告]
发表于 2016-07-29 11:44 |只看该作者
厉害!学到FPAT了。回复 4# elu_ligao


   

论坛徽章:
7
2015年迎新春徽章
日期:2015-03-04 10:01:442015年亚洲杯之科威特
日期:2015-04-17 17:27:042015亚冠之阿尔萨德
日期:2015-07-22 15:25:4015-16赛季CBA联赛之吉林
日期:2016-04-11 13:57:30操作系统版块每日发帖之星
日期:2016-06-24 06:20:00每日论坛发贴之星
日期:2016-06-24 06:20:0015-16赛季CBA联赛之辽宁
日期:2017-05-09 12:31:45
14 [报告]
发表于 2016-07-29 11:45 |只看该作者
强!!!!!!!!!!!!
moperyblue 发表于 2016-07-28 21:48
1.11.1.1,-,-,[28/Jul/2016:03:00:23 +0000],"GET / HTTP/1.1",304,0,"-","Mozilla/5.0 (Windows NT 6.3; W ...

论坛徽章:
7
2015年迎新春徽章
日期:2015-03-04 10:01:442015年亚洲杯之科威特
日期:2015-04-17 17:27:042015亚冠之阿尔萨德
日期:2015-07-22 15:25:4015-16赛季CBA联赛之吉林
日期:2016-04-11 13:57:30操作系统版块每日发帖之星
日期:2016-06-24 06:20:00每日论坛发贴之星
日期:2016-06-24 06:20:0015-16赛季CBA联赛之辽宁
日期:2017-05-09 12:31:45
15 [报告]
发表于 2016-07-29 11:46 |只看该作者
强!!!!!!!!!!!!!!!!回复 11# jason680


   
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP