免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 3204 | 回复: 13
打印 上一主题 下一主题

[文本处理] awk sed命令求解 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2014-03-19 09:56 |只看该作者 |倒序浏览
本帖最后由 rdcwayx 于 2014-03-19 10:41 编辑

要处理的文件如下:(一个文件内的重复内容,可能会有新增项,如下)
  1. abc: 222
  2. a b c: 111
  3. aaa: 222
  4. a a a: 111

  5. abc: 123
  6. a b c: 123
  7. aaa: 123
  8. a a a: 123
  9. new: 555

  10. abc: 234
  11. a b c: 234
  12. aaa: 234
  13. a a a: 234
  14. again: 666
复制代码
shell脚本处理后的文件如下:
  1. abc: 222   123    234
  2. a b c: 111   123    234
  3. aaa: 222    123    234
  4. a a a: 111    123   234
  5. new: 555
  6. again: 666
复制代码
一天也没捣鼓出来,大淫们请伸出援手啊!~…~
######################################
前4行就是往后面追加或者替换数据数据,
后面的new和again是文件的后面2部分新增的项需要自称一行。

论坛徽章:
0
2 [报告]
发表于 2014-03-19 10:28 |只看该作者
在线等。

论坛徽章:
6
处女座
日期:2014-04-02 16:07:17酉鸡
日期:2014-04-14 10:09:22子鼠
日期:2014-04-17 11:57:30辰龙
日期:2014-09-01 17:14:08戌狗
日期:2014-10-28 12:25:54未羊
日期:2014-11-14 11:31:58
3 [报告]
发表于 2014-03-19 10:34 |只看该作者
  1. awk -F: '/^$/{next} {a[$1]=a[$1]?a[$1]" "$2:$2}END{for(i in a){print i":"a[i]}}' oo
复制代码

论坛徽章:
0
4 [报告]
发表于 2014-03-19 10:44 |只看该作者
回复 3# rulebook
好难 都没看懂

   

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
5 [报告]
发表于 2014-03-19 10:45 |只看该作者
回复 1# linuxzmy

# awk -F: 'NF>1{if(a[$1]==""){a[$1]=$2;b[++c]=$1}else{a[$1]=a[$1]" "$2}}END{for(n=1;n<=c;n++)print b[n]":"a[b[n]]}' FILE
abc: 222  123  234
a b c: 111  123  234
aaa: 222  123  234
a a a: 111  123  234
new: 555
again: 666

   

论坛徽章:
0
6 [报告]
发表于 2014-03-19 10:48 |只看该作者
回复 5# jason680
看着好复杂。我没用过awk和sed 和看天书似的


   

论坛徽章:
15
2015年辞旧岁徽章
日期:2015-03-03 16:54:15双鱼座
日期:2015-01-15 17:29:44午马
日期:2015-01-06 17:06:51子鼠
日期:2014-11-24 10:11:13寅虎
日期:2014-08-18 07:10:55酉鸡
日期:2014-04-02 12:24:51双子座
日期:2014-04-02 12:19:44天秤座
日期:2014-03-17 11:43:36亥猪
日期:2014-03-13 08:13:51未羊
日期:2014-03-11 12:42:03白羊座
日期:2013-11-20 10:15:18CU大牛徽章
日期:2013-04-17 11:48:45
7 [报告]
发表于 2014-03-19 10:50 |只看该作者
回复 1# linuxzmy
  1. awk -F : '/:/{a[$1]=a[$1]==""?$2:a[$1] OFS $2}END{for (i in a) print i FS a[i]}' file
复制代码

论坛徽章:
15
2015年辞旧岁徽章
日期:2015-03-03 16:54:15双鱼座
日期:2015-01-15 17:29:44午马
日期:2015-01-06 17:06:51子鼠
日期:2014-11-24 10:11:13寅虎
日期:2014-08-18 07:10:55酉鸡
日期:2014-04-02 12:24:51双子座
日期:2014-04-02 12:19:44天秤座
日期:2014-03-17 11:43:36亥猪
日期:2014-03-13 08:13:51未羊
日期:2014-03-11 12:42:03白羊座
日期:2013-11-20 10:15:18CU大牛徽章
日期:2013-04-17 11:48:45
8 [报告]
发表于 2014-03-19 10:52 |只看该作者
回复 3# rulebook


用a[$1]? 来判断的话,会有个小bug。 比如第一个值是0的时候。

论坛徽章:
23
15-16赛季CBA联赛之吉林
日期:2017-12-21 16:39:27白羊座
日期:2014-10-27 11:14:37申猴
日期:2014-10-23 08:36:23金牛座
日期:2014-09-30 08:26:49午马
日期:2014-09-29 09:40:16射手座
日期:2014-11-25 08:56:112015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东
日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东
日期:2016-01-19 13:33:372015亚冠之山东鲁能
日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者
日期:2015-09-21 08:27:57
9 [报告]
发表于 2014-03-19 10:58 |只看该作者
回复 6# linuxzmy


awk 的还好了,来看 sed 的:
  1. sed -r ':a;N;s/([^\n:]+:)([^\n]+)(.*)\n\1([^\n]+)/\1\2\4\3/;$!ba;s/\n+/\n/g' file
复制代码

论坛徽章:
6
处女座
日期:2014-04-02 16:07:17酉鸡
日期:2014-04-14 10:09:22子鼠
日期:2014-04-17 11:57:30辰龙
日期:2014-09-01 17:14:08戌狗
日期:2014-10-28 12:25:54未羊
日期:2014-11-14 11:31:58
10 [报告]
发表于 2014-03-19 10:58 |只看该作者
回复 8# rdcwayx


    oo ~原来如此 谢谢提醒~
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP