免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2176 | 回复: 9
打印 上一主题 下一主题

[文本处理] shell按条件合并文本 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2013-11-18 11:16 |只看该作者 |倒序浏览
本帖最后由 bianlimit 于 2013-11-18 11:33 编辑

下面这样的文本有什么好的办法合并?
1:A和B数量和内容都可能不一样.
2:如果有相同的字段(name和size).然后就把此字段下面的url合在一起, 效果如 C
  1. #A文件
  2. name:aaa
  3. size:10242
  4. url1:192.168.10.1

  5. name:aaab
  6. size:10242
  7. url1:192.168.10.1

  8. name:aaad
  9. size:10242
  10. url1:192.168.10.1

  11. #B文件
  12. name:aaa
  13. size:10242
  14. url2:192.168.8.1

  15. name:aaac
  16. size:10242
  17. url2:192.168.8.1

  18. #C文件 最终样式
  19. name:aaa
  20. size:10242
  21. url1:192.168.10.1
  22. url2:192.168.8.1

  23. name:aaab
  24. size:10242
  25. url1:192.168.10.1

  26. name:aaac
  27. size:10242
  28. url2:192.168.8.1

  29. name:aaad
  30. size:10242
  31. url1:192.168.10.1
复制代码

论坛徽章:
39
辰龙
日期:2013-08-21 15:45:192015亚冠之广州富力
日期:2015-05-12 16:34:52亥猪
日期:2015-03-03 17:22:00申猴
日期:2015-03-03 17:21:37未羊
日期:2014-10-10 13:45:41戌狗
日期:2014-06-17 09:53:29巨蟹座
日期:2014-06-12 23:17:17双鱼座
日期:2014-06-10 12:42:44寅虎
日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫
日期:2015-05-24 15:24:35黄金圣斗士
日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林
日期:2017-06-24 16:43:52
2 [报告]
发表于 2013-11-18 11:25 |只看该作者
回复 1# bianlimit


    "2:如果有相关的字段(name和size).然后就把此字段下面的url合在一起,  "

这个该怎么理解?  只要name 相同就合并?  只要size相同就合并? 还是name size都相同才合并?

论坛徽章:
0
3 [报告]
发表于 2013-11-18 11:30 |只看该作者
两个都一样. 就合并.

论坛徽章:
5
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:50:282015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33IT运维版块每日发帖之星
日期:2016-01-09 06:20:00IT运维版块每周发帖之星
日期:2016-03-07 16:27:44
4 [报告]
发表于 2013-11-18 11:32 |只看该作者
用数组就行了。

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
5 [报告]
发表于 2013-11-18 11:32 |只看该作者
本帖最后由 yestreenstars 于 2013-11-18 11:34 编辑
  1. [root@localhost ~]# head a b
  2. ==> a <==
  3. name:aaa
  4. size:10242
  5. url1:192.168.10.1

  6. name:aaab
  7. size:10242
  8. url1:192.168.10.1

  9. name:aaad
  10. size:10242

  11. ==> b <==
  12. name:aaa
  13. size:10242
  14. url2:192.168.8.1

  15. name:aaac
  16. size:10242
  17. url2:192.168.8.1
  18. [root@localhost ~]# awk 'BEGIN{FS="\n";RS=ORS="\n\n"}{sub(/\n$/,"");t=$1" "$2;a[t]=a[t]?a[t]"\n"$3:$0}END{for(i in a)print a[i]}' a b
  19. name:aaa
  20. size:10242
  21. url1:192.168.10.1
  22. url2:192.168.8.1

  23. name:aaab
  24. size:10242
  25. url1:192.168.10.1

  26. name:aaac
  27. size:10242
  28. url2:192.168.8.1

  29. name:aaad
  30. size:10242
  31. url1:192.168.10.1

  32. [root@localhost ~]#
复制代码

论坛徽章:
0
6 [报告]
发表于 2013-11-18 11:37 |只看该作者
回复 4# blackold

数组,不错, 还没怎么用过, 想一下先,
   

论坛徽章:
39
辰龙
日期:2013-08-21 15:45:192015亚冠之广州富力
日期:2015-05-12 16:34:52亥猪
日期:2015-03-03 17:22:00申猴
日期:2015-03-03 17:21:37未羊
日期:2014-10-10 13:45:41戌狗
日期:2014-06-17 09:53:29巨蟹座
日期:2014-06-12 23:17:17双鱼座
日期:2014-06-10 12:42:44寅虎
日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫
日期:2015-05-24 15:24:35黄金圣斗士
日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林
日期:2017-06-24 16:43:52
7 [报告]
发表于 2013-11-18 11:38 |只看该作者
回复 3# bianlimit
  1. awk -vRS='' '{a[$1"\n"$2]=a[$1"\n"$2]"\n"$3}END{for (i in a)print i,a[i]"\n"}' a b
复制代码

论坛徽章:
0
8 [报告]
发表于 2013-11-18 11:42 |只看该作者
上面 yestreenstars 和 关阴月飞 的AWK用得很强大啊, 这个还在学习中....

谢谢了

论坛徽章:
14
15-16赛季CBA联赛之辽宁
日期:2019-06-16 15:47:3515-16赛季CBA联赛之广夏
日期:2016-08-13 21:24:352015亚冠之武里南联
日期:2015-07-07 17:37:372015亚冠之萨济拖拉机
日期:2015-07-06 17:07:482015亚冠之全北现代
日期:2015-06-04 13:54:272015亚冠之城南
日期:2015-05-21 15:43:212015年亚洲杯之伊朗
日期:2015-04-25 18:20:362015年亚洲杯之伊朗
日期:2015-04-20 16:06:052015年亚洲杯之科威特
日期:2015-03-07 12:51:26丑牛
日期:2014-12-30 10:26:38申猴
日期:2014-09-28 22:40:18金牛座
日期:2014-09-13 21:12:22
9 [报告]
发表于 2013-11-18 12:37 |只看该作者
回复 7# 关阴月飞


    awk大神必杀技~~!  膜拜

论坛徽章:
36
摩羯座
日期:2013-09-23 16:37:312015年亚洲杯之沙特阿拉伯
日期:2015-04-14 09:10:172015亚冠之柏太阳神
日期:2015-06-25 08:48:212015亚冠之武里南联
日期:2015-07-28 09:01:082015亚冠之莱赫维亚
日期:2015-07-28 15:44:172015亚冠之柏斯波利斯
日期:2015-09-06 14:08:52白银圣斗士
日期:2015-11-25 17:06:2815-16赛季CBA联赛之吉林
日期:2015-12-09 16:59:072016猴年福章徽章
日期:2016-02-18 15:30:3415-16赛季CBA联赛之辽宁
日期:2016-04-14 09:29:04luobin
日期:2016-06-17 17:46:3615-16赛季CBA联赛之天津
日期:2016-08-16 14:11:01
10 [报告]
发表于 2013-11-18 14:52 |只看该作者
回复 7# 关阴月飞
感谢大神啊,让我理解了前几天的一个问题!

   
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP