免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 6142 | 回复: 13

[文本处理] awk比较两个文件的相同索引行 [复制链接]

论坛徽章:
0
发表于 2016-04-01 02:53 |显示全部楼层
我有两个文件
file1有两列,第一列用户名,第二列索引项1-26(个数不定)

ID       index
001     2,7,19
002     4
003     1,5,8,9,11,26
....
246     11,23,25,26

file2有两列,第一列索引项1-26(固定),第二列要匹配的数据

index   data
1         data
2         data
3         data
4         data
5         data
...
26       data

我想做的就是把第一个文件中每个用户的索引项匹配第二个文件中的数据,匹配成功的删除,然后为每个用户建立一个文档,保存没有匹配到的数据

我想的方法是为每个用户生成一个文件,文件名为用户名,文件包含一列就是索引项,比如用户001的文件file_001的内容为
2
7
19
然后用file_001匹配file2

awk 'NR==FNR {a[NR]=$1;next}' NR>FNR{for(i=1;i<=NR;i++){if($1==a[i]) {print $0}}} file_001 file2

上面的awk可以打印出匹配到的行,但是如果改成$1!=a[i]就会遍历26遍file2不知道哪位好心的大神能帮我一下,小女子感激不尽!!!

论坛徽章:
29
程序设计版块每日发帖之星
日期:2016-02-29 06:20:0015-16赛季CBA联赛之天津
日期:2016-08-10 10:33:1115-16赛季CBA联赛之深圳
日期:2016-08-17 15:07:2015-16赛季CBA联赛之佛山
日期:2016-11-07 11:33:5015-16赛季CBA联赛之广夏
日期:2016-11-15 09:13:31CU十四周年纪念徽章
日期:2016-11-24 14:12:25极客徽章
日期:2016-12-07 14:03:4015-16赛季CBA联赛之深圳
日期:2016-12-07 17:15:2715-16赛季CBA联赛之北京
日期:2016-12-22 09:30:0115-16赛季CBA联赛之深圳
日期:2016-12-22 10:49:2115-16赛季CBA联赛之山西
日期:2017-02-10 09:05:3215-16赛季CBA联赛之同曦
日期:2017-02-27 14:19:08
发表于 2016-04-01 09:07 |显示全部楼层
  1. awk 'NR==FNR{a[$1]++;next}a[$1]' file_001  file2
复制代码
把file_001 的索引直接放在数组里, 对file2 文件判断$1 是否在数组里

论坛徽章:
30
申猴
日期:2014-04-10 09:43:532015年亚洲杯纪念徽章
日期:2015-03-20 14:40:232015亚冠之阿尔纳斯尔
日期:2015-06-02 18:59:042015亚冠之阿尔希拉尔
日期:2015-06-30 15:22:572015亚冠之大阪钢巴
日期:2015-07-20 10:44:332015亚冠之阿尔纳斯尔
日期:2015-10-28 14:57:5215-16赛季CBA联赛之新疆
日期:2015-12-25 10:18:45黑曼巴
日期:2016-06-26 21:39:5315-16赛季CBA联赛之山西
日期:2016-07-25 21:54:2715-16赛季CBA联赛之北京
日期:2016-10-27 12:07:2315-16赛季CBA联赛之八一
日期:2017-07-07 16:39:0915-16赛季CBA联赛之吉林
日期:2017-09-04 12:14:43
发表于 2016-04-01 10:16 |显示全部楼层
  1. awk  'FNR>1&&FNR==NR{{a[$1]=$2};next}NR>FNR&&FNR>1{for (i in a) {p=0;t=split(a[i],b,",");for (j=1;j<=t;j++) {if($1!=b[j]) {p++} else if ($1==b[j]
  2. ) {break} if(p==t) {c[i]=c[i]" "$2}}}}END{for(i in c) print i,c[i]}' file1 file2      
复制代码
回复 1# shrimpj


   

论坛徽章:
6
程序设计版块每日发帖之星
日期:2016-04-05 06:20:00每日论坛发贴之星
日期:2016-04-05 06:20:00IT运维版块每日发帖之星
日期:2016-04-12 06:20:00IT运维版块每日发帖之星
日期:2016-04-14 06:20:00IT运维版块每日发帖之星
日期:2016-04-26 06:20:00IT运维版块每日发帖之星
日期:2016-04-27 06:20:00
发表于 2016-04-02 03:04 |显示全部楼层
awk 'BEGIN{FS=" ";while("cat file2"|getline){a[$1]++};close("cat file2");FS=" |,"}{for(i=2;i<=NF;i++){if(a[$i]!=""){$i=""}}}1' file1
001  7 19
002
003   8 9 11 26

有个对齐问题,不过多个空格其实也是一个空格

论坛徽章:
6
程序设计版块每日发帖之星
日期:2016-04-05 06:20:00每日论坛发贴之星
日期:2016-04-05 06:20:00IT运维版块每日发帖之星
日期:2016-04-12 06:20:00IT运维版块每日发帖之星
日期:2016-04-14 06:20:00IT运维版块每日发帖之星
日期:2016-04-26 06:20:00IT运维版块每日发帖之星
日期:2016-04-27 06:20:00
发表于 2016-04-02 03:05 |显示全部楼层
awk 'BEGIN{FS=" ";while("cat file2"|getline){a[$1]++};close("cat file2");FS=" |,"}{for(i=2;i<=NF;i++){if(a[$i]!=""){$i=""}}}1' file1
001  7 19
002
003   8 9 11 26

论坛徽章:
6
程序设计版块每日发帖之星
日期:2016-04-05 06:20:00每日论坛发贴之星
日期:2016-04-05 06:20:00IT运维版块每日发帖之星
日期:2016-04-12 06:20:00IT运维版块每日发帖之星
日期:2016-04-14 06:20:00IT运维版块每日发帖之星
日期:2016-04-26 06:20:00IT运维版块每日发帖之星
日期:2016-04-27 06:20:00
发表于 2016-04-02 03:08 |显示全部楼层
awk 'BEGIN{FS=" ";while("cat file2"|getline){a[$1]++};close("cat file2");FS=" |,"}{for(i=2;i<=NF;i++){if(a[$i]!=""){$i=""}}}1' file1
001  7 19
002
003   8 9 11 26

论坛徽章:
6
程序设计版块每日发帖之星
日期:2016-04-05 06:20:00每日论坛发贴之星
日期:2016-04-05 06:20:00IT运维版块每日发帖之星
日期:2016-04-12 06:20:00IT运维版块每日发帖之星
日期:2016-04-14 06:20:00IT运维版块每日发帖之星
日期:2016-04-26 06:20:00IT运维版块每日发帖之星
日期:2016-04-27 06:20:00
发表于 2016-04-02 03:08 |显示全部楼层
回复 1# shrimpj


     awk 'BEGIN{FS=" ";while("cat file2"|getline){a[$1]++};close("cat file2");FS=" |,"}{for(i=2;i<=NF;i++){if(a[$i]!=""){$i=""}}}1' file1
001  7 19
002
003   8 9 11 26

论坛徽章:
6
程序设计版块每日发帖之星
日期:2016-04-05 06:20:00每日论坛发贴之星
日期:2016-04-05 06:20:00IT运维版块每日发帖之星
日期:2016-04-12 06:20:00IT运维版块每日发帖之星
日期:2016-04-14 06:20:00IT运维版块每日发帖之星
日期:2016-04-26 06:20:00IT运维版块每日发帖之星
日期:2016-04-27 06:20:00
发表于 2016-04-02 03:10 |显示全部楼层
awk 'BEGIN{FS=" ";while("cat file2"|getline){a[$1]++};close("cat file2");FS=" |,"}{for(i=2;i<=NF;i++){if(a[$i]!=""){$i=""}}}1' file1
001  7 19
002
003   8 9 11 26

论坛徽章:
0
发表于 2016-04-02 03:23 |显示全部楼层
回复 2# elu_ligao

我想输出的是没有匹配的行,这样打印出的是匹配到的行


   

论坛徽章:
0
发表于 2016-04-02 03:24 |显示全部楼层
回复 3# zxy877298415

这个很太复杂了,结果不对,不过很有意思的数组应用,感激!!!


   
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP