免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 44187 | 回复: 14

[文本处理] nginx log 转成csv格式 [复制链接]

论坛徽章:
7
2015年迎新春徽章
日期:2015-03-04 10:01:442015年亚洲杯之科威特
日期:2015-04-17 17:27:042015亚冠之阿尔萨德
日期:2015-07-22 15:25:4015-16赛季CBA联赛之吉林
日期:2016-04-11 13:57:30操作系统版块每日发帖之星
日期:2016-06-24 06:20:00每日论坛发贴之星
日期:2016-06-24 06:20:0015-16赛季CBA联赛之辽宁
日期:2017-05-09 12:31:45
发表于 2016-07-28 11:29 |显示全部楼层

想把下面行
1.11.1.1 - - [28/Jul/2016:03:00:23 +0000] "GET / HTTP/1.1" 304 0 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko"

转成如下效果:

1.11.1.1,-,-,[28/Jul/2016:03:00:23 +0000],"GET / HTTP/1.1",304,0,"-","Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko"

关键就是双引号和[]之间的空格不要转换。求awk语句,谢谢!

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-07-28 12:11 |显示全部楼层
本帖最后由 moperyblue 于 2016-07-29 14:00 编辑
  1. awk 'BEGIN{split("11 10 9 8 5 3 2 1",a)}{for(i in a)$0=gensub(/ /,",",a[i])}1'
复制代码
1.11.1.1,-,-,[28/Jul/2016:03:00:23 +0000],"GET / HTTP/1.1",304,0,"-","Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko"
  1. awk -vRS='\\[[^]]*|"[^"]*"' -vORS= '{RT=gensub(/ /,"@","g",RT);gsub(/ /,",");gsub(/@/," ",RT);print $0 RT}'
复制代码
1.11.1.1,-,-,[28/Jul/2016:03:00:23 +0000],"GET / HTTP/1.1",304,0,"-","Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko"

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
发表于 2016-07-28 14:01 |显示全部楼层


建议修改 nginx 配置..

    log_format  main  '$remote_addr,-,$remote_user,[$time_local],"$request",'
                      '$status,$body_bytes_sent,"$http_referer",'
                      '"$http_user_agent","$http_x_forwarded_for"';

论坛徽章:
29
程序设计版块每日发帖之星
日期:2016-02-29 06:20:0015-16赛季CBA联赛之天津
日期:2016-08-10 10:33:1115-16赛季CBA联赛之深圳
日期:2016-08-17 15:07:2015-16赛季CBA联赛之佛山
日期:2016-11-07 11:33:5015-16赛季CBA联赛之广夏
日期:2016-11-15 09:13:31CU十四周年纪念徽章
日期:2016-11-24 14:12:25极客徽章
日期:2016-12-07 14:03:4015-16赛季CBA联赛之深圳
日期:2016-12-07 17:15:2715-16赛季CBA联赛之北京
日期:2016-12-22 09:30:0115-16赛季CBA联赛之深圳
日期:2016-12-22 10:49:2115-16赛季CBA联赛之山西
日期:2017-02-10 09:05:3215-16赛季CBA联赛之同曦
日期:2017-02-27 14:19:08
发表于 2016-07-28 14:06 |显示全部楼层
awk 4 以上用
  1. awk 'BEGIN{OFS=",";FPAT="([^ ]+)|(\"[^\"]+\")|(\\[[^[]+\\])"}$1=$1'
复制代码

论坛徽章:
7
2015年迎新春徽章
日期:2015-03-04 10:01:442015年亚洲杯之科威特
日期:2015-04-17 17:27:042015亚冠之阿尔萨德
日期:2015-07-22 15:25:4015-16赛季CBA联赛之吉林
日期:2016-04-11 13:57:30操作系统版块每日发帖之星
日期:2016-06-24 06:20:00每日论坛发贴之星
日期:2016-06-24 06:20:0015-16赛季CBA联赛之辽宁
日期:2017-05-09 12:31:45
发表于 2016-07-28 14:18 |显示全部楼层
找到需要替换的空格的具体位置,然后进行替换,不失为一种思路。谢谢啦。 不过,这样貌似不是很严谨? 期待新思路。回复 2# moperyblue


   

论坛徽章:
1
程序设计版块每日发帖之星
日期:2015-12-17 06:20:00
发表于 2016-07-28 14:31 |显示全部楼层
nginx 配置文件中直接定义自己需要的log格式。

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-07-28 16:16 |显示全部楼层
本帖最后由 moperyblue 于 2016-07-29 13:57 编辑

回复 5# 251744647


    这需要根据数据格式特点来处理 如果确定格式是固定的 可以这样做

其它方法:
1.正则
2.参照3楼 修改nginx 配置 直接输出需要的格式
...
  1. sed -r -e{,,}'s/ /,/' -e 's/ (")/,\1/g;s/(") /\1,/;s/(",\S+) /\1,/'
复制代码

论坛徽章:
10
15-16赛季CBA联赛之同曦
日期:2016-06-11 19:22:4115-16赛季CBA联赛之深圳
日期:2020-05-31 16:13:5615-16赛季CBA联赛之同曦
日期:2020-01-28 12:42:47每日论坛发贴之星
日期:2016-08-09 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00每日论坛发贴之星
日期:2016-07-12 06:20:00程序设计版块每日发帖之星
日期:2016-07-12 06:20:00程序设计版块每日发帖之星
日期:2016-07-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-04 06:20:0015-16赛季CBA联赛之佛山
日期:2021-02-26 09:33:41
发表于 2016-07-28 17:45 |显示全部楼层
顶三楼       -  -

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2016-07-28 18:08 |显示全部楼层
  1. perl -ple '$_=join (",",grep {length} split(/\h(\[[^]]+]|"[^"]+")?/))' f
复制代码
1.11.1.1,-,-,[28/Jul/2016:03:00:23 +0000],"GET / HTTP/1.1",304,0,"-","Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko"

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2016-07-28 21:48 |显示全部楼层
本帖最后由 moperyblue 于 2016-07-29 13:54 编辑
  1. sed -r 's/^|"[^"]*"|\[[^]]*]/{&}/g;:a;s/(}[^{]*) /\1,/;ta;s/[{}]//g'
复制代码
1.11.1.1,-,-,[28/Jul/2016:03:00:23 +0000],"GET / HTTP/1.1",304,0,"-","Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko"
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP