免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 请教如何合并具有重复字段的行？
12下一页
最近访问板块 发新帖
查看: 4540 | 回复: 14
打印 上一主题 下一主题

[文本处理] 请教如何合并具有重复字段的行？ [复制链接]

tnweb

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2014-05-07 11:07 |只看该作者 |倒序浏览
请教各位，我目前有这样一个目录结构文本：
aaaa/bbbb/
aaaa/bbbb/ccc/
aaaa/bbbb/ddd/
aaaa/cccc/
aaaa/cccc/ddd/
aaaa/cccc/bbb/

我只希望显示他们共有的目录，即：
aaaa/bbbb/
aaaa/cccc/

请问我该如何处理？
expert1

论坛徽章:
16
IT运维版块每日发帖之星 日期:2015-08-24 06:20:00综合交流区版块每日发帖之星 日期:2015-10-14 06:20:00IT运维版块每日发帖之星 日期:2015-10-25 06:20:00IT运维版块每日发帖之星 日期:2015-11-06 06:20:00IT运维版块每日发帖之星 日期:2015-12-10 06:20:00平安夜徽章 日期:2015-12-26 00:06:302016猴年福章徽章 日期:2016-02-18 15:30:34IT运维版块每日发帖之星 日期:2016-04-15 06:20:00IT运维版块每日发帖之星 日期:2016-05-21 06:20:00综合交流区版块每日发帖之星 日期:2016-08-16 06:20:002015七夕节徽章 日期:2015-08-21 11:06:17IT运维版块每日发帖之星 日期:2015-08-14 06:20:00
2楼 [报告]
发表于 2014-05-07 11:16 |只看该作者

依然月经问题，楼下数组搞掂
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Herowinter

论坛徽章:
769
金牛座 日期:2014-02-26 17:49:58水瓶座 日期:2014-02-26 18:10:15白羊座 日期:2014-04-15 19:29:52寅虎 日期:2014-04-17 19:43:21酉鸡 日期:2014-04-19 21:24:10子鼠 日期:2014-04-22 13:55:24卯兔 日期:2014-04-22 14:20:58亥猪 日期:2014-04-22 16:13:09狮子座 日期:2014-05-05 22:31:17摩羯座 日期:2014-05-06 10:32:53处女座 日期:2014-05-12 09:23:11子鼠 日期:2014-05-21 18:21:27
3楼 [报告]
发表于 2014-05-07 11:18 |只看该作者
本帖最后由 Herowinter 于 2014-05-07 11:19 编辑

回复 1# tnweb
  1. awk '{found=0;for(i in a){if(match($0,i)>0){found=1;break}};if(!found)a[$0]} END{for(i in a)print i}' i
  2. aaaa/bbbb/
  3. aaaa/cccc/
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
WilliBhamlll

论坛徽章:
50
15-16赛季CBA联赛之广夏 日期:2018-11-05 09:42:462015年亚冠纪念徽章 日期:2015-07-23 11:58:122015亚冠之广州富力 日期:2015-07-07 08:26:172015亚冠之塔什干棉农 日期:2015-06-29 09:08:072015年亚洲杯之伊朗 日期:2015-03-08 20:51:012015年迎新春徽章 日期:2015-03-04 09:58:11未羊 日期:2014-10-16 22:41:47处女座 日期:2014-10-16 15:33:33酉鸡 日期:2014-03-13 12:54:10巳蛇 日期:2014-03-10 14:39:052015亚冠之德黑兰石油 日期:2015-07-29 12:46:372015亚冠之德黑兰石油 日期:2015-08-07 12:54:11
4楼 [报告]
发表于 2014-05-07 11:20 |只看该作者
回复 1# tnweb
  1. sed '$!N;/^\(.*\)\n\1/P;D'
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
tnweb

论坛徽章:
0
5楼 [报告]
发表于 2014-05-07 11:23 |只看该作者
高手真多呀，谢谢大家
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
reyleon

论坛徽章:
60
20周年集字徽章-20 日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京 日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦 日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山 日期:2016-05-27 11:54:56黄金圣斗士 日期:2015-12-02 11:44:35白银圣斗士 日期:2015-11-25 14:32:43白银圣斗士 日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼 日期:2015-10-21 16:55:482015亚冠之首尔 日期:2015-09-01 16:46:052015亚冠之德黑兰石油 日期:2015-08-31 11:39:192015亚冠之萨济拖拉机 日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东 日期:2016-07-12 14:58:53
6楼 [报告]
发表于 2014-05-07 11:23 |只看该作者
回复 3# Herowinter


    你是不是想的有点儿复杂了?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
reyleon

论坛徽章:
60
20周年集字徽章-20 日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京 日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦 日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山 日期:2016-05-27 11:54:56黄金圣斗士 日期:2015-12-02 11:44:35白银圣斗士 日期:2015-11-25 14:32:43白银圣斗士 日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼 日期:2015-10-21 16:55:482015亚冠之首尔 日期:2015-09-01 16:46:052015亚冠之德黑兰石油 日期:2015-08-31 11:39:192015亚冠之萨济拖拉机 日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东 日期:2016-07-12 14:58:53
7楼 [报告]
发表于 2014-05-07 11:26 |只看该作者
如果都是这种格式的,简单点就用:
  1. awk -F/ '!a[$1,$2]++'
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Herowinter

论坛徽章:
769
金牛座 日期:2014-02-26 17:49:58水瓶座 日期:2014-02-26 18:10:15白羊座 日期:2014-04-15 19:29:52寅虎 日期:2014-04-17 19:43:21酉鸡 日期:2014-04-19 21:24:10子鼠 日期:2014-04-22 13:55:24卯兔 日期:2014-04-22 14:20:58亥猪 日期:2014-04-22 16:13:09狮子座 日期:2014-05-05 22:31:17摩羯座 日期:2014-05-06 10:32:53处女座 日期:2014-05-12 09:23:11子鼠 日期:2014-05-21 18:21:27
8楼 [报告]
发表于 2014-05-07 11:40 |只看该作者
回复 7# reyleon
好象是的，多谢指教。
我写得时候不大确定路径是不是最多3级。
   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
expert1

论坛徽章:
16
IT运维版块每日发帖之星 日期:2015-08-24 06:20:00综合交流区版块每日发帖之星 日期:2015-10-14 06:20:00IT运维版块每日发帖之星 日期:2015-10-25 06:20:00IT运维版块每日发帖之星 日期:2015-11-06 06:20:00IT运维版块每日发帖之星 日期:2015-12-10 06:20:00平安夜徽章 日期:2015-12-26 00:06:302016猴年福章徽章 日期:2016-02-18 15:30:34IT运维版块每日发帖之星 日期:2016-04-15 06:20:00IT运维版块每日发帖之星 日期:2016-05-21 06:20:00综合交流区版块每日发帖之星 日期:2016-08-16 06:20:002015七夕节徽章 日期:2015-08-21 11:06:17IT运维版块每日发帖之星 日期:2015-08-14 06:20:00
9楼 [报告]
发表于 2014-05-07 12:50 |只看该作者
7L是知音啊
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
q1208c

论坛徽章:
33
荣誉会员 日期:2011-11-23 16:44:17天秤座 日期:2014-08-26 16:18:20天秤座 日期:2014-08-29 10:12:18丑牛 日期:2014-08-29 16:06:45丑牛 日期:2014-09-03 10:28:58射手座 日期:2014-09-03 16:01:17寅虎 日期:2014-09-11 14:24:21天蝎座 日期:2014-09-17 08:33:55IT运维版块每日发帖之星 日期:2016-04-17 06:23:27操作系统版块每日发帖之星 日期:2016-04-18 06:20:00IT运维版块每日发帖之星 日期:2016-04-24 06:20:0015-16赛季CBA联赛之天津 日期:2016-05-06 12:46:59
10楼 [报告]
发表于 2014-05-07 12:54 |只看该作者
共同部分不是应该只是 /aaaa/ 么?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP