免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › [求助] log日志文本块处理
12下一页
最近访问板块 发新帖
查看: 3987 | 回复: 19
打印 上一主题 下一主题

[文本处理] [求助] log日志文本块处理 [复制链接]

jixuuse

论坛徽章:
41
操作系统版块每日发帖之星 日期:2016-08-21 06:20:00每日论坛发贴之星 日期:2016-05-05 06:20:00操作系统版块每日发帖之星 日期:2016-05-05 06:20:00IT运维版块每日发帖之星 日期:2016-05-05 06:20:0015-16赛季CBA联赛之山西 日期:2016-04-27 08:49:00操作系统版块每日发帖之星 日期:2016-04-25 06:20:00操作系统版块每日发帖之星 日期:2016-04-17 06:23:2815-16赛季CBA联赛之吉林 日期:2016-03-25 15:46:3415-16赛季CBA联赛之四川 日期:2016-03-25 14:26:19操作系统版块每日发帖之星 日期:2016-05-27 06:20:00操作系统版块每日发帖之星 日期:2016-05-28 06:20:00IT运维版块每日发帖之星 日期:2016-08-18 06:20:00
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2013-11-18 14:44 |只看该作者 |倒序浏览
有一个log文件，记录的是AP上连线客户端的信息，格式如下

  2. AP# show clock
  3. Mon Nov 18 10:22:06 PRC 2013
  4. show userinfo
  5. STA#   mac address         aid  rssi flag      term
  6.     1   c4:6a:b7:ad:dc:09   2848 46   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  7.     2   00:90:a2:d0:50:45   2336 60   [WMM][HT][ERP][AUTHORIZED]0   
  8.     3   80:22:75:4a:a5:76   1261031   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  9.     4   00:1a:9a:02:b4:3e   0    34   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  10.     5   74:e5:0b:b6:12:1e   5696 38   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  11.     6   7c:c3:a1:2f:c3:5c   1063747   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  12.     7   20:68:9d:93:06:7c   570  38   [WMM][HT][ERP][AUTHORIZED]0   
  13.     8   7c:61:93:1d:54:74   0    22   [WMM][HT][ERP][AUTHORIZED]0   
  14.     9   40:fc:89:1a:45:b1   1571031   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  15. AP# show clock
  16. Mon Nov 18 10:22:36 PRC 2013
  17. AP# show userinfo
  18. STA#   mac address         aid  rssi flag      term
  19.     1   c4:6a:b7:ad:dc:09   4994 46   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  20.     2   00:90:a2:d0:50:45   1621360   [WMM][HT][ERP][AUTHORIZED]0   
  21.     3   80:22:75:4a:a5:76   1261031   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  22.     4   00:1a:9a:02:b4:3e   0    34   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  23.     5   74:e5:0b:b6:12:1e   5696 34   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  24.     6   7c:c3:a1:2f:c3:5c   1063747   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  25.     7   20:68:9d:93:06:7c   4734 37   [WMM][HT][ERP][AUTHORIZED]0   
  26.     8   7c:61:93:1d:54:74   0    22   [WMM][HT][ERP][AUTHORIZED]0   
  27.     9   40:fc:89:1a:45:b1   1333629   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  28.    10   00:90:a2:d0:09:17   0    49   [WMM][HT][ERP][AUTHORIZED]0   
  29.    11   d8:d1:cb:bf:8f:72   1604 22   [WMM][HT][ERP][AUTHORIZED]0   
  30. AP# show clock
  31. Mon Nov 18 10:22:56 PRC 2013
  32. AP# show userinfo
  33. STA#   mac address         aid  rssi flag      term
  34.     1   c4:6a:b7:ad:dc:09   1107946   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  35.     2   00:90:a2:d0:50:45   1618159   [WMM][HT][ERP][AUTHORIZED]0   
  36.     3   80:22:75:4a:a5:76   1150 31   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  37.     4   00:1a:9a:02:b4:3e   0    34   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
复制代码
需要将其处理为 时间 | 在线人数 的格式，如
  1. Nov 18 10:22:06  |  9
  2. Nov 18 10:22:36  | 11
  3. Nov 18 10:22:56  |  4
复制代码
完全不会这种统计方法，请教一下应该怎么写脚本呢？
关阴月飞

论坛徽章:
39
辰龙 日期:2013-08-21 15:45:192015亚冠之广州富力 日期:2015-05-12 16:34:52亥猪 日期:2015-03-03 17:22:00申猴 日期:2015-03-03 17:21:37未羊 日期:2014-10-10 13:45:41戌狗 日期:2014-06-17 09:53:29巨蟹座 日期:2014-06-12 23:17:17双鱼座 日期:2014-06-10 12:42:44寅虎 日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫 日期:2015-05-24 15:24:35黄金圣斗士 日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林 日期:2017-06-24 16:43:52
2楼 [报告]
发表于 2013-11-18 14:59 |只看该作者
本帖最后由 关阴月飞 于 2013-11-18 15:01 编辑

回复 1# jixuuse

  2. [root@ awktest]# awk -F'\n' -vRS='AP# show clock' 'NF{split($2,a," ");print a[2],a[3],a[4],"|",NF-5}' file
  3. Nov 18 10:22:06 | 9
  4. Nov 18 10:22:36 | 11
  5. Nov 18 10:22:56 | 4
  6. [root@ awktest]# cat file
  7. AP# show clock
  8. Mon Nov 18 10:22:06 PRC 2013
  9. show userinfo
  10. STA#   mac address         aid  rssi flag      term
  11.     1   c4:6a:b7:ad:dc:09   2848 46   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  12.     2   00:90:a2:d0:50:45   2336 60   [WMM][HT][ERP][AUTHORIZED]0   
  13.     3   80:22:75:4a:a5:76   1261031   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  14.     4   00:1a:9a:02:b4:3e   0    34   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  15.     5   74:e5:0b:b6:12:1e   5696 38   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  16.     6   7c:c3:a1:2f:c3:5c   1063747   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  17.     7   20:68:9d:93:06:7c   570  38   [WMM][HT][ERP][AUTHORIZED]0   
  18.     8   7c:61:93:1d:54:74   0    22   [WMM][HT][ERP][AUTHORIZED]0   
  19.     9   40:fc:89:1a:45:b1   1571031   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  20. AP# show clock
  21. Mon Nov 18 10:22:36 PRC 2013
  22. AP# show userinfo
  23. STA#   mac address         aid  rssi flag      term
  24.     1   c4:6a:b7:ad:dc:09   4994 46   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  25.     2   00:90:a2:d0:50:45   1621360   [WMM][HT][ERP][AUTHORIZED]0   
  26.     3   80:22:75:4a:a5:76   1261031   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  27.     4   00:1a:9a:02:b4:3e   0    34   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  28.     5   74:e5:0b:b6:12:1e   5696 34   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  29.     6   7c:c3:a1:2f:c3:5c   1063747   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  30.     7   20:68:9d:93:06:7c   4734 37   [WMM][HT][ERP][AUTHORIZED]0   
  31.     8   7c:61:93:1d:54:74   0    22   [WMM][HT][ERP][AUTHORIZED]0   
  32.     9   40:fc:89:1a:45:b1   1333629   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  33.    10   00:90:a2:d0:09:17   0    49   [WMM][HT][ERP][AUTHORIZED]0   
  34.    11   d8:d1:cb:bf:8f:72   1604 22   [WMM][HT][ERP][AUTHORIZED]0   
  35. AP# show clock
  36. Mon Nov 18 10:22:56 PRC 2013
  37. AP# show userinfo
  38. STA#   mac address         aid  rssi flag      term
  39.     1   c4:6a:b7:ad:dc:09   1107946   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  40.     2   00:90:a2:d0:50:45   1618159   [WMM][HT][ERP][AUTHORIZED]0   
  41.     3   80:22:75:4a:a5:76   1150 31   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0   
  42.     4   00:1a:9a:02:b4:3e   0    34   [WMM][HT][POWER SAVE][ERP][AUTHORIZED]0
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jixuuse

论坛徽章:
41
操作系统版块每日发帖之星 日期:2016-08-21 06:20:00每日论坛发贴之星 日期:2016-05-05 06:20:00操作系统版块每日发帖之星 日期:2016-05-05 06:20:00IT运维版块每日发帖之星 日期:2016-05-05 06:20:0015-16赛季CBA联赛之山西 日期:2016-04-27 08:49:00操作系统版块每日发帖之星 日期:2016-04-25 06:20:00操作系统版块每日发帖之星 日期:2016-04-17 06:23:2815-16赛季CBA联赛之吉林 日期:2016-03-25 15:46:3415-16赛季CBA联赛之四川 日期:2016-03-25 14:26:19操作系统版块每日发帖之星 日期:2016-05-27 06:20:00操作系统版块每日发帖之星 日期:2016-05-28 06:20:00IT运维版块每日发帖之星 日期:2016-08-18 06:20:00
3楼 [报告]
发表于 2013-11-18 15:12 |只看该作者
非常感谢！！确实可用
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
秋天的絮儿

论坛徽章:
0
4楼 [报告]
发表于 2013-11-18 15:17 |只看该作者
回复 2# 关阴月飞


看明白了，老师厉害！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
秋天的絮儿

论坛徽章:
0
5楼 [报告]
发表于 2013-11-18 15:19 |只看该作者
回复 2# 关阴月飞


看明白了，老师厉害！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yestreenstars

论坛徽章:
32
处女座 日期:2013-11-20 23:41:20双子座 日期:2014-06-11 17:20:43戌狗 日期:2014-06-16 11:05:00处女座 日期:2014-07-22 17:30:47狮子座 日期:2014-07-28 15:38:17金牛座 日期:2014-08-05 16:34:01亥猪 日期:2014-08-18 13:34:25白羊座 日期:2014-09-02 15:03:55金牛座 日期:2014-11-10 10:23:58处女座 日期:2014-12-02 09:17:52程序设计版块每日发帖之星 日期:2015-06-16 22:20:002015亚冠之塔什干火车头 日期:2015-06-20 23:28:22
6楼 [报告]
发表于 2013-11-18 15:25 |只看该作者
  1. [root@localhost ~]# awk '/^AP# show clock$/{if(t)print t;getline;printf "%s %s %s | ",$2,$3,$4}{t=$1}END{print t}' i
  2. Nov 18 10:22:06 | 9
  3. Nov 18 10:22:36 | 11
  4. Nov 18 10:22:56 | 4
  5. [root@localhost ~]#
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yestreenstars

论坛徽章:
32
处女座 日期:2013-11-20 23:41:20双子座 日期:2014-06-11 17:20:43戌狗 日期:2014-06-16 11:05:00处女座 日期:2014-07-22 17:30:47狮子座 日期:2014-07-28 15:38:17金牛座 日期:2014-08-05 16:34:01亥猪 日期:2014-08-18 13:34:25白羊座 日期:2014-09-02 15:03:55金牛座 日期:2014-11-10 10:23:58处女座 日期:2014-12-02 09:17:52程序设计版块每日发帖之星 日期:2015-06-16 22:20:002015亚冠之塔什干火车头 日期:2015-06-20 23:28:22
7楼 [报告]
发表于 2013-11-18 15:25 |只看该作者
  1. [root@localhost ~]# awk '/^AP# show clock$/{if(t)print t;getline;printf "%s %s %s | ",$2,$3,$4}{t=$1}END{print t}' i
  2. Nov 18 10:22:06 | 9
  3. Nov 18 10:22:36 | 11
  4. Nov 18 10:22:56 | 4
  5. [root@localhost ~]#
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
pengbgao

论坛徽章:
0
8楼 [报告]
发表于 2013-11-18 16:50 |只看该作者
关老师 有几个疑问 给解释下

awk -F'\n' -vRS='AP# show clock' 'NF{split($2,a," ");print a[2],a[3],a[4],"|",NF-5}' file

1、-vRS='AP# show clock'这是什么意思  参数是做什么的

2、NF-5  NF为什么减5  前面只有4行啊
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
关阴月飞

论坛徽章:
39
辰龙 日期:2013-08-21 15:45:192015亚冠之广州富力 日期:2015-05-12 16:34:52亥猪 日期:2015-03-03 17:22:00申猴 日期:2015-03-03 17:21:37未羊 日期:2014-10-10 13:45:41戌狗 日期:2014-06-17 09:53:29巨蟹座 日期:2014-06-12 23:17:17双鱼座 日期:2014-06-10 12:42:44寅虎 日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫 日期:2015-05-24 15:24:35黄金圣斗士 日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林 日期:2017-06-24 16:43:52
9楼 [报告]
发表于 2013-11-18 16:54 |只看该作者
回复 8# pengbgao


   
1、-vRS='AP# show clock'这是什么意思  参数是做什么的

指定行分隔符， 以 AP# show clock 来分隔行。


2、NF-5  NF为什么减5  前面只有4行啊

因为用了\n做为域分隔符，每行最后都有个\n， 所以会多切割出一列，且最后一列都为空
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
pengbgao

论坛徽章:
0
10楼 [报告]
发表于 2013-11-18 16:58 |只看该作者
回复 9# 关阴月飞


    多谢  
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP