免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 如何用sed和awk处理过滤出来的文件路径呢？
12下一页
最近访问板块 发新帖
查看: 3646 | 回复: 10
打印 上一主题 下一主题

[文本处理] 如何用sed和awk处理过滤出来的文件路径呢？ [复制链接]

我的名字是雷锋

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2013-04-03 13:56 |只看该作者 |倒序浏览
过滤出的文件路径如下：
/adfdaf/adss
/adfdaf/btts
/adfdaf/btts/page1
/adfdaf/btts/page2
/adfdaf/bidd/alipay
/adfdaft/bidd/renren
/trel/detail/920538.html
/trel/detail/920854.html
/trel/detail/921052.html
/trel/detail.php
/trel/out_travel/all/
/trel/out_travel/changsha
。。。
。。。
。。。

要求一种类型的文件路径只要一个
/adfdaf/adss
/adfdaf/btts
/adfdaf/btts/page1
/adfdaf/bidd/alipay
/adfdaft/bidd/renren
/trel/detail/920538.html
/trel/detail.php
/trel/out_travel/all/
/trel/out_travel/changsha
关阴月飞

论坛徽章:
39
辰龙 日期:2013-08-21 15:45:192015亚冠之广州富力 日期:2015-05-12 16:34:52亥猪 日期:2015-03-03 17:22:00申猴 日期:2015-03-03 17:21:37未羊 日期:2014-10-10 13:45:41戌狗 日期:2014-06-17 09:53:29巨蟹座 日期:2014-06-12 23:17:17双鱼座 日期:2014-06-10 12:42:44寅虎 日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫 日期:2015-05-24 15:24:35黄金圣斗士 日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林 日期:2017-06-24 16:43:52
2楼 [报告]
发表于 2013-04-03 14:12 |只看该作者
如何判定   "一种类型的文件路径" ?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
我的名字是雷锋

论坛徽章:
0
3楼 [报告]
发表于 2013-04-03 14:19 |只看该作者
文件名类似 如：
/a/b/c1.txt
/a/b/c2.txt
/a/b/c3.txt

只提取/a/b/c1.txt
3Q
回复 2# 关阴月飞


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
关阴月飞

论坛徽章:
39
辰龙 日期:2013-08-21 15:45:192015亚冠之广州富力 日期:2015-05-12 16:34:52亥猪 日期:2015-03-03 17:22:00申猴 日期:2015-03-03 17:21:37未羊 日期:2014-10-10 13:45:41戌狗 日期:2014-06-17 09:53:29巨蟹座 日期:2014-06-12 23:17:17双鱼座 日期:2014-06-10 12:42:44寅虎 日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫 日期:2015-05-24 15:24:35黄金圣斗士 日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林 日期:2017-06-24 16:43:52
4楼 [报告]
发表于 2013-04-03 14:25 |只看该作者
回复 3# 我的名字是雷锋


    如此，就是说所有的文件都是 xx.xx带后缀格式？  那lz 一楼给的数据大部分没带后缀，怎么处理？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yestreenstars

论坛徽章:
32
处女座 日期:2013-11-20 23:41:20双子座 日期:2014-06-11 17:20:43戌狗 日期:2014-06-16 11:05:00处女座 日期:2014-07-22 17:30:47狮子座 日期:2014-07-28 15:38:17金牛座 日期:2014-08-05 16:34:01亥猪 日期:2014-08-18 13:34:25白羊座 日期:2014-09-02 15:03:55金牛座 日期:2014-11-10 10:23:58处女座 日期:2014-12-02 09:17:52程序设计版块每日发帖之星 日期:2015-06-16 22:20:002015亚冠之塔什干火车头 日期:2015-06-20 23:28:22
5楼 [报告]
发表于 2013-04-03 14:50 |只看该作者
本帖最后由 yestreenstars 于 2013-04-03 14:52 编辑
  1. awk -F/ 'NF>3{a=$0;NF--;if($0==b)next;else print a;b=$0;next}1'
复制代码
注：猜的！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
我的名字是雷锋

论坛徽章:
0
6楼 [报告]
发表于 2013-04-03 15:34 |只看该作者
大部分都是网站的爬虫地址提取的文件位置。。数据量有30万。。。
这个已经用N个sub() 把不要的数据丢掉了。。。
哎 太苦逼了。。
3Q各位
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yestreenstars

论坛徽章:
32
处女座 日期:2013-11-20 23:41:20双子座 日期:2014-06-11 17:20:43戌狗 日期:2014-06-16 11:05:00处女座 日期:2014-07-22 17:30:47狮子座 日期:2014-07-28 15:38:17金牛座 日期:2014-08-05 16:34:01亥猪 日期:2014-08-18 13:34:25白羊座 日期:2014-09-02 15:03:55金牛座 日期:2014-11-10 10:23:58处女座 日期:2014-12-02 09:17:52程序设计版块每日发帖之星 日期:2015-06-16 22:20:002015亚冠之塔什干火车头 日期:2015-06-20 23:28:22
7楼 [报告]
发表于 2013-04-03 16:19 |只看该作者
爬虫地址是啥？求科普~
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
dn833

论坛徽章:
5
未羊 日期:2014-08-04 16:15:21天秤座 日期:2014-08-13 13:52:372015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:56:112015亚冠之浦和红钻 日期:2015-06-29 15:30:48
8楼 [报告]
发表于 2013-04-03 16:34 |只看该作者
[ 本帖最后由 dn833 于 2013-04-03 16:50 编辑 ]

[code]awk -F '[^/]+$' '!a[$1]++'[/code]
不知这样能否满足。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
cjaizss

论坛徽章:
3
2015年迎新春徽章 日期:2015-03-04 09:56:11数据库技术版块每日发帖之星 日期:2016-08-03 06:20:00数据库技术版块每日发帖之星 日期:2016-08-04 06:20:00
9楼 [报告]
发表于 2013-04-03 16:47 |只看该作者
我猜测是去掉文件名后缀之前的数字之后，一模一样的叫相似
不知道可以不可以这样理解
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yestreenstars

论坛徽章:
32
处女座 日期:2013-11-20 23:41:20双子座 日期:2014-06-11 17:20:43戌狗 日期:2014-06-16 11:05:00处女座 日期:2014-07-22 17:30:47狮子座 日期:2014-07-28 15:38:17金牛座 日期:2014-08-05 16:34:01亥猪 日期:2014-08-18 13:34:25白羊座 日期:2014-09-02 15:03:55金牛座 日期:2014-11-10 10:23:58处女座 日期:2014-12-02 09:17:52程序设计版块每日发帖之星 日期:2015-06-16 22:20:002015亚冠之塔什干火车头 日期:2015-06-20 23:28:22
10楼 [报告]
发表于 2013-04-03 16:57 |只看该作者
@dn833
It's a good idea!
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP