免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2007 | 回复: 7

[文本处理] shell高手帮帮忙 [复制链接]

论坛徽章:
0
发表于 2016-02-02 10:22 |显示全部楼层
本帖最后由 Juice12 于 2016-02-02 10:31 编辑

文本举例如下:
shenzhen     group1    111
beijing       group2        222
nanjing          group3      3333
xiamen group1        111
shanghai    group4   4444
shenzhen group2  222
wuhan group1  666

要实现的结果:
1. 第二列的值只出现一次的行不打印(group3和group4所在行不打印)
2.第二列的值出现多次,但是每次第三列也相同,不打印(group2所在行不打印)
3.第二列的值出现多次,且第三列也有不同的(不一定全部不同),打印符合条件的所有行(包含group1的三行被打印)

求脚本。谢谢。

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
发表于 2016-02-02 11:13 |显示全部楼层
本帖最后由 reyleon 于 2016-02-02 11:28 编辑

第二列的值只出现一次的行不打印
第二列的值出现多次,但是每次第三列也相同,不打印


因为用到多维数组, gawk 4.0+ 方可使用:
awk '{x[$2,++a[$2]]=$0;b[$2][$3];} END { for(i in a){for(n=1;n<=a;n++){if(a==1||length(b)==1)continue;print x[i,n] }}}' file

应该是这样, 上面那个不知道为啥, 少了一个 [x],x为i, 写成i, 就不显示了,
  1. awk '{x[$2,++a[$2]]=$0;b[$2][$3];} END { for(i in a){for(n=1;n<=a[i];n++){if(a[i]==1||length(b[i])==1)continue;print x[i,n] }}}' file
复制代码

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
发表于 2016-02-02 11:16 |显示全部楼层
本帖最后由 reyleon 于 2016-02-02 11:23 编辑
reyleon 发表于 2016-02-02 11:13
第二列的值只出现一次的行不打印
第二列的值出现多次,但是每次第三列也相同,不打印[/back ...


加上颜色页面显示就有问题了, 卧槽
再回一遍, gawk 4.0+ 使用:
  1. awk '{x[$2,++a[$2]]=$0;b[$2][$3];} END { for(i in a){for(n=1;n<=a[i];n++){if(a[i]==1||length(b[i])==1)continue;print x[i,n] }}}'
复制代码

论坛徽章:
20
程序设计版块每日发帖之星
日期:2015-10-11 06:20:0015-16赛季CBA联赛之山东
日期:2016-05-28 18:18:5615-16赛季CBA联赛之新疆
日期:2017-04-12 22:55:4715-16赛季CBA联赛之青岛
日期:2017-06-26 18:30:0315-16赛季CBA联赛之四川
日期:2017-09-04 12:27:0315-16赛季CBA联赛之福建
日期:2018-02-09 14:28:3315-16赛季CBA联赛之同曦
日期:2018-04-17 12:43:3415-16赛季CBA联赛之浙江
日期:2018-07-14 13:27:4015-16赛季CBA联赛之吉林
日期:2018-09-13 15:48:2915-16赛季CBA联赛之新疆
日期:2016-05-07 05:05:3215-16赛季CBA联赛之八一
日期:2016-03-14 12:32:06程序设计版块每日发帖之星
日期:2015-12-12 06:20:00
发表于 2016-02-02 11:19 |显示全部楼层
你把结果发出来吧,看着头疼

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
发表于 2016-02-02 11:42 |显示全部楼层
回复 2# reyleon

应该是这样, 上面那个不知道为啥, 少了一个 [x],x为i, 写成i, 就不显示了,

改i为n

请看签名
   

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
发表于 2016-02-02 11:44 |显示全部楼层
回复 5# jason680


    CU 太坑爹了, 论坛程序估计几百年没更新了

论坛徽章:
0
发表于 2016-02-02 11:47 |显示全部楼层
装了awk4.1亲测可行,CU大神就是多
[root@localhost ~]# /usr/local/awk4/bin/awk '{x[$2,++a[$2]]=$0;b[$2][$3];} END { for(i in a){for(n=1;n<=a[i];n++){if(a[i]==1||length(b[i])==1)continue;print x[i,n] }}}' 1
shenzhen     group1    111
xiamen group1        111
wuhan group1  666

论坛徽章:
28
2015年迎新春徽章
日期:2015-03-04 10:16:53午马
日期:2015-03-20 17:11:07亥猪
日期:2015-03-20 17:11:23戌狗
日期:2015-03-20 17:11:33酉鸡
日期:2015-03-20 17:11:47申猴
日期:2015-03-20 17:11:58未羊
日期:2015-03-20 17:12:10子鼠
日期:2015-03-20 17:12:23丑牛
日期:2015-03-20 17:12:40卯兔
日期:2015-03-20 17:12:51辰龙
日期:2015-03-20 17:13:00巳蛇
日期:2015-03-20 17:13:12
发表于 2016-02-14 16:23 |显示全部楼层
  1. GNU Awk 3.1.7

  2. awk '{a[$0];b[$2]++;c[$2]=++d[$2,$3]}END{for(i in a){split(i,e," ");printf b[e[2]]!=1&&b[e[2]]!=c[e[2]]?i"\n":""}}' urfile
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP