免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
论坛 程序设计 Shell unix
最近访问板块 发新帖
查看: 2397 | 回复: 8
打印 上一主题 下一主题

[文本处理] unix [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2014-10-20 21:47 |只看该作者 |倒序浏览
大家好,有这样一个问题:
>a1
1
>a1
11
>a1
111
>a2
2
>a2
22
>b1
3
>b1
33
想将各个title 下边的合在一起 输出如下:
>a1
1
11
111
>a2
2
22
>b1
3
33
请教大家怎样能够实现呢?谢谢!

论坛徽章:
2
射手座
日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海
日期:2016-03-03 10:27:14
2 [报告]
发表于 2014-10-20 22:25 |只看该作者
回复 1# biobaby
  1. awk '(/^>/&&!a[$1]++)||/^[^>]/'
复制代码

论坛徽章:
30
申猴
日期:2014-04-10 09:43:532015年亚洲杯纪念徽章
日期:2015-03-20 14:40:232015亚冠之阿尔纳斯尔
日期:2015-06-02 18:59:042015亚冠之阿尔希拉尔
日期:2015-06-30 15:22:572015亚冠之大阪钢巴
日期:2015-07-20 10:44:332015亚冠之阿尔纳斯尔
日期:2015-10-28 14:57:5215-16赛季CBA联赛之新疆
日期:2015-12-25 10:18:45黑曼巴
日期:2016-06-26 21:39:5315-16赛季CBA联赛之山西
日期:2016-07-25 21:54:2715-16赛季CBA联赛之北京
日期:2016-10-27 12:07:2315-16赛季CBA联赛之八一
日期:2017-07-07 16:39:0915-16赛季CBA联赛之吉林
日期:2017-09-04 12:14:43
3 [报告]
发表于 2014-10-20 23:11 |只看该作者
回复 1# biobaby
awk '{if(/^[>]/){t=$0} else {a[t]=a[t]"\n"$0}}END{for (i in a) print i,a}' FILE


   

论坛徽章:
84
每日论坛发贴之星
日期:2015-12-29 06:20:00每日论坛发贴之星
日期:2016-01-16 06:20:00每周论坛发贴之星
日期:2016-01-17 22:22:00程序设计版块每日发帖之星
日期:2016-01-20 06:20:00每日论坛发贴之星
日期:2016-01-20 06:20:00程序设计版块每日发帖之星
日期:2016-01-21 06:20:00每日论坛发贴之星
日期:2016-01-21 06:20:00程序设计版块每日发帖之星
日期:2016-01-23 06:20:00程序设计版块每日发帖之星
日期:2016-01-31 06:20:00数据库技术版块每日发帖之星
日期:2016-01-16 06:20:00程序设计版块每日发帖之星
日期:2016-01-16 06:20:00程序设计版块每日发帖之星
日期:2016-01-14 06:20:00
4 [报告]
发表于 2014-10-20 23:25 |只看该作者
awk '/^>/ {fix=$0; next;} { A[fix]=A[fix] $0 "\n"; } END {for (i in A) {print i; print A[i]} }'

论坛徽章:
10
金牛座
日期:2014-09-16 19:02:48技术图书徽章
日期:2015-11-24 01:37:29操作系统版块每日发帖之星
日期:2015-11-18 06:20:002015年亚洲杯之沙特阿拉伯
日期:2015-04-13 17:33:462015年迎新春徽章
日期:2015-03-04 09:51:162015年辞旧岁徽章
日期:2015-03-03 16:54:15午马
日期:2014-12-04 19:33:55白羊座
日期:2014-09-17 19:34:42巨蟹座
日期:2014-09-16 21:09:4815-16赛季CBA联赛之同曦
日期:2016-06-27 23:23:07
5 [报告]
发表于 2014-10-20 23:36 |只看该作者
  1. awk '!a[$0]++' file
  2. >a1
  3. 1
  4. 11
  5. 111
  6. >a2
  7. 2
  8. 22
  9. >b1
  10. 3
  11. 33
复制代码

论坛徽章:
3
丑牛
日期:2014-09-13 18:19:22摩羯座
日期:2014-10-10 17:43:02水瓶座
日期:2014-10-16 01:00:22
6 [报告]
发表于 2014-10-20 23:54 |只看该作者
学生党:无聊~简单python写一下~

  1. $ cat yhsafe.py
  2. #!/usr/bin/env python
  3. # -*- coding: gbk -*-

  4. import re
  5. import sys
  6. dic_t={}
  7. for x in re.findall(r'^>[^>]*',open(sys.argv[1]).read(),re.M|re.S):
  8.         x=x.rstrip('\n').split('\n')
  9.         print x
  10.         if not dic_t.has_key(x[0]):
  11.                 dic_t[x[0]]=x[1:]
  12.         else:
  13.                 dic_t[x[0]].append(x[1])
  14. for k,v in  dic_t.iteritems():
  15.         print k
  16.         print '\n'.join(v)
复制代码
测试:
$ ./yhsafe.py ./yhsafe.txt
>a2
2
22
>b1
3
33
>a1
1
11
111

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
7 [报告]
发表于 2014-10-21 09:09 |只看该作者
  1. awk '/^>/&&!a[$1]++||!/^>/'
复制代码

论坛徽章:
3
天秤座
日期:2013-12-19 06:33:48IT运维版块每日发帖之星
日期:2016-07-29 06:20:00IT运维版块每日发帖之星
日期:2016-08-13 06:20:00
8 [报告]
发表于 2015-04-22 17:21 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

求职 : 机器学习
论坛徽章:
79
2015年亚洲杯纪念徽章
日期:2015-05-06 19:18:572015七夕节徽章
日期:2015-08-21 11:06:172015亚冠之阿尔纳斯尔
日期:2015-09-07 09:30:232015亚冠之萨济拖拉机
日期:2015-10-21 08:26:3915-16赛季CBA联赛之浙江
日期:2015-12-30 09:59:1815-16赛季CBA联赛之浙江
日期:2016-01-10 12:35:21技术图书徽章
日期:2016-01-15 11:07:2015-16赛季CBA联赛之新疆
日期:2016-02-24 13:46:0215-16赛季CBA联赛之吉林
日期:2016-06-26 01:07:172015-2016NBA季后赛纪念章
日期:2016-06-28 17:44:45黑曼巴
日期:2016-06-28 17:44:4515-16赛季CBA联赛之浙江
日期:2017-07-18 13:41:54
9 [报告]
发表于 2015-04-22 18:54 |只看该作者
  1. awk '/>/{if(!a[$0]++){print $0};next}1' file
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP