免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: toc230415
打印 上一主题 下一主题

[文本处理] AWK合并两个文件,2字段是b文件$2 3字段是a文件$2 没有用0填充字段 [复制链接]

论坛徽章:
25
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海
日期:2018-12-11 09:45:3219周年集字徽章-年
日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳
日期:2020-04-19 21:40:19黑曼巴
日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一
日期:2018-07-03 16:56:46
11 [报告]
发表于 2018-03-29 16:34 |只看该作者
根据操作系统版本也能大概猜出awk版本

论坛徽章:
0
12 [报告]
发表于 2018-03-29 16:55 |只看该作者
回复 11# wh7211

操作系统版本也看不到,不能用最低级的AWK来编辑么

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
13 [报告]
发表于 2018-03-29 17:40 |只看该作者
把两个要处理的文件, 复制到linux上(有gawk的系统, 如Windows下的cgywin)上去处理不就行了

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
14 [报告]
发表于 2018-03-29 18:50 |只看该作者
回复 1# toc230415

try this way

$ cat b
a  20170428-061749
b  20170930-093947
c  20170926-165215
d  20180116-142510
e  20180123-022209

$ cat a
b  20180116-142457
c  20171112-184042
e  20180123-030017
f  20180123-032004

$ awk 'F!=FILENAME{++c}{F=FILENAME;if(!a[$1]++)k[++kn]=$1;a[c,$1]=$2}END{for(n=1;n<=kn;n+=1)print k[n],a[1,k[n]]?a[1,k[n]]:0,a[2,k[n]]?a[2,k[n]]:0}' b a
a 20170428-061749 0
b 20170930-093947 20180116-142457
c 20170926-165215 20171112-184042
d 20180116-142510 0
e 20180123-022209 20180123-030017
f 0 20180123-032004

论坛徽章:
0
15 [报告]
发表于 2018-03-30 09:18 |只看该作者
回复 14# jason680

可能是我的AWK版本很低吧,执行后如下:(已经先CD到文件ab所在的位置了)> awk 'F!=FILENAME{++c}{F=FILENAME;if(!a[$1]++)k[++kn]=$1;a[c,$1]=$2}END{for(n=1;n<=kn;n+=1)print k[n],a[1,k[n]]?a[1,k[n]]:0,a[2,k[n]]?a[2,k[n]]:0}' b a
a[: Event not found.


论坛徽章:
25
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海
日期:2018-12-11 09:45:3219周年集字徽章-年
日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳
日期:2020-04-19 21:40:19黑曼巴
日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一
日期:2018-07-03 16:56:46
16 [报告]
发表于 2018-03-30 09:47 |只看该作者
回复 12# toc230415


不能装啊,这是网管系统,不能瞎搞,出问题了就是大事 用shell语言能完成么,我本来就是编辑的.sh,里面用AWK生成的a  b文档

把原始日志同步到其他服务器再处理

论坛徽章:
0
17 [报告]
发表于 2018-03-30 09:50 |只看该作者
回复 16# wh7211

这个是要写到系统上自动执行的,原来是取下来文件不用合并比对就可以了,就是为了让每天自动执行才要搞这段合并的,合并后好进行下一步自动比对出结果

论坛徽章:
25
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海
日期:2018-12-11 09:45:3219周年集字徽章-年
日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳
日期:2020-04-19 21:40:19黑曼巴
日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一
日期:2018-07-03 16:56:46
18 [报告]
发表于 2018-03-30 12:03 |只看该作者
本帖最后由 wh7211 于 2018-03-30 13:32 编辑

回复 17# toc230415


  1. 方法1:使用基本awk语法处理a文件和b文件:
  2. awk '{if(!a[$1]){a[$1]=$2};if(b[$1]){b[$1]=$1" "a[$1]" "$2}else{if(FILENAME=="b"){b[$1]=$0" 0"}else{b[$1]=$1" 0 "$2}}}END{for(i in b){print b[i]}}' b a
  3. a 20170428-061749 0
  4. b 20170930-093947 20180116-142457
  5. c 20170926-165215 20171112-184042
  6. d 20180116-142510 0
  7. e 20180123-022209 20180123-030017
  8. f 0 20180123-032004
复制代码

  1. 方法2:先处理a文件和b文件,然后合并成c文件,最后使用基本awk语法处理c文件:
  2. cat b
  3. a 20170428-061749 0
  4. b 20170930-093947 0
  5. c 20170926-165215 0
  6. d 20180116-142510 0
  7. e 20180123-022209 0

  8. cat a
  9. b 0 20180116-142457
  10. c 0 20171112-184042
  11. e 0 20180123-030017
  12. f 0 20180123-032004

  13. cat b a > c

  14. cat c
  15. a 20170428-061749 0
  16. b 20170930-093947 0
  17. c 20170926-165215 0
  18. d 20180116-142510 0
  19. e 20180123-022209 0
  20. b 0 20180116-142457
  21. c 0 20171112-184042
  22. e 0 20180123-030017
  23. f 0 20180123-032004

  24. awk '{if(!a[$1]){a[$1]=$2};if(b[$1]){b[$1]=$1" "a[$1]" "$3}else{b[$1]=$0}}END{for(i in b){print b[i]}}' c
  25. a 20170428-061749 0
  26. b 20170930-093947 20180116-142457
  27. c 20170926-165215 20171112-184042
  28. d 20180116-142510 0
  29. e 20180123-022209 20180123-030017
  30. f 0 20180123-032004
复制代码

论坛徽章:
0
19 [报告]
发表于 2018-03-30 14:03 |只看该作者
回复 18# wh7211

awk '{if(!a[$1]){a[$1]=$2};if(b[$1]){b[$1]=$1" "a[$1]" "$3}else{b[$1]=$0}}END{for(i in b){print b}}' c
a[: Event not found.

用不了

论坛徽章:
25
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海
日期:2018-12-11 09:45:3219周年集字徽章-年
日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳
日期:2020-04-19 21:40:19黑曼巴
日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一
日期:2018-07-03 16:56:46
20 [报告]
发表于 2018-03-30 14:51 |只看该作者
回复 19# toc230415


不支持数组?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP