免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 2439 | 回复: 17
打印 上一主题 下一主题

如何去除field2和field3只出现一次的行? [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2010-05-07 07:52 |只看该作者 |倒序浏览
例如:
输入file.in:
1  aa xx  30
3  bb vv  31
4  aa  xx 32
5  cc  yy 33
6  cc  yy 34
输出file.out:
3  bb vv  31

因为:第一行的field2 field3和第三行的field2 field3重复、第五行的field2 field3和第六行的field2 field3重复

如下的写法问题出在哪里?
  1. awk 'NR==FNR{arr[$2""$3]++}NR>FNR{if(arr[$2""$3]==1) print $0)}' file.in  file.in > file.out
复制代码
我之前有过类似的提问:http://bbs.chinaunix.net/viewthread.php?tid=1697463

论坛徽章:
0
2 [报告]
发表于 2010-05-07 08:08 |只看该作者
print $0) 《-----这里多了个)

论坛徽章:
0
3 [报告]
发表于 2010-05-07 08:12 |只看该作者
回复 2# li2002


    谢了

论坛徽章:
0
4 [报告]
发表于 2010-05-07 08:13 |只看该作者
[重新更正一下问题]
例如:
输入file.in:
1  aa xx  30
3  bb vv  31
4  aa  xx 32
5  cc  yy 33
6  cc  yy 34
输出file.out:
3  bb vv  31

因为:第一行的field2 field3和第三行的field2 field3重复、第五行的field2 field3和第六行的field2 field3重复

我使用了如下的写法:
  1. awk 'NR==FNR{arr[$2""$3]++}NR>FNR{if(arr[$2""$3]==1) print $0}' file.in  file.in > file.out
复制代码
我之前有过类似的提问:http://bbs.chinaunix.net/viewthread.php?tid=1697463

如果field3中,有可能出现日期,格式:年-月-日 时:分,例如:2003-3-8 15:32
我把含有日期的认为是重复的,这个问题又该如何处理?

谢了!~

求职 : 技术支持/维
论坛徽章:
0
5 [报告]
发表于 2010-05-07 08:18 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
6 [报告]
发表于 2010-05-07 08:20 |只看该作者
回复 5# 99超人


    如果认为field3是日期格式的也是重复的,该怎么处理?

求职 : 技术支持/维
论坛徽章:
0
7 [报告]
发表于 2010-05-07 08:24 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

求职 : 技术支持/维
论坛徽章:
0
8 [报告]
发表于 2010-05-07 08:27 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
9 [报告]
发表于 2010-05-07 08:28 |只看该作者
回复 7# 99超人


    不太明白你的意思
    我的意思是:只要是日期,就认为是重复的

求职 : 技术支持/维
论坛徽章:
0
10 [报告]
发表于 2010-05-07 08:34 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP