免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › awk 文本处理问题
123下一页
最近访问板块 发新帖
查看: 3768 | 回复: 21
打印 上一主题 下一主题

awk 文本处理问题 [复制链接]

young19860802

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2010-07-19 17:15 |只看该作者 |倒序浏览
本帖最后由 young19860802 于 2010-07-19 17:42 编辑

文本3333内容为
FASHION SHOW FW 2010-11/FULL LENGTHS/PARIS/AF VANDEVORST/Vandevorst F10 001.jpg
FASHION SHOW FW 2010-11/FULL LENGTHS/PARIS/AF VANDEVORST/Vandevorst F10 002.jpg
FASHION SHOW FW 2010-11/FULL LENGTHS/PARIS/AGNES B/Agnes B F10 044.jpg
FASHION SHOW FW 2010-11/FULL LENGTHS/PARIS/AGNES B PRESS OFFICE/Agnes B PO F10 001.jpg
FASHION SHOW FW 2010-11/FULL LENGTHS/PARIS/AGNES B PRESS OFFICE/Agnes B PO F10 002.jpg

如果用awk处理后,每个目录只留一条信息,目录的长度不固定
处理后的结果为
FASHION SHOW FW 2010-11/FULL LENGTHS/PARIS/AF VANDEVORST/Vandevorst F10 001.jpg
FASHION SHOW FW 2010-11/FULL LENGTHS/PARIS/AGNES B/Agnes B F10 044.jpg
FASHION SHOW FW 2010-11/FULL LENGTHS/PARIS/AGNES B PRESS OFFICE/Agnes B PO F10 001.jpg


经过楼下大家的帮助，最后弄了一个较为准确的方法
awk 'BEGIN{FS=OFS="/"}!a[$(NF-2)" "$(NF-1)]++' 3333
谢谢楼下各位!!!
expert1

论坛徽章:
16
IT运维版块每日发帖之星 日期:2015-08-24 06:20:00综合交流区版块每日发帖之星 日期:2015-10-14 06:20:00IT运维版块每日发帖之星 日期:2015-10-25 06:20:00IT运维版块每日发帖之星 日期:2015-11-06 06:20:00IT运维版块每日发帖之星 日期:2015-12-10 06:20:00平安夜徽章 日期:2015-12-26 00:06:302016猴年福章徽章 日期:2016-02-18 15:30:34IT运维版块每日发帖之星 日期:2016-04-15 06:20:00IT运维版块每日发帖之星 日期:2016-05-21 06:20:00综合交流区版块每日发帖之星 日期:2016-08-16 06:20:002015七夕节徽章 日期:2015-08-21 11:06:17IT运维版块每日发帖之星 日期:2015-08-14 06:20:00
2楼 [报告]
发表于 2010-07-19 17:20 |只看该作者
没看出什么规律来呢，楼主
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
iori809

论坛徽章:
0
3楼 [报告]
发表于 2010-07-19 17:23 |只看该作者
回复 1# young19860802


    awk '!a[$5" "$6]++'

不太严谨~但如果数据格式不多的话，应该能实现
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
young19860802

论坛徽章:
0
4楼 [报告]
发表于 2010-07-19 17:25 |只看该作者
回复 2# expert1


    相同的目录只要一条信息就可以了,目录是结果排序的,所以顺序不是问题哦
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
young19860802

论坛徽章:
0
5楼 [报告]
发表于 2010-07-19 17:27 |只看该作者
回复 3# iori809


    能不能解释是下什么意思那？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
iori809

论坛徽章:
0
6楼 [报告]
发表于 2010-07-19 17:28 |只看该作者
回复 5# young19860802


    实现需求了吗？

就是用5和6字段做关联数组，然后如果大于1的话就取反
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
young19860802

论坛徽章:
0
7楼 [报告]
发表于 2010-07-19 17:30 |只看该作者
没有哦，有些可以有些还会重复出现的，估计应该是目录长度不统一吧
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
justlooks

论坛徽章:
0
8楼 [报告]
发表于 2010-07-19 17:31 |只看该作者
uniq 3333
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
aluoyeshi

论坛徽章:
0
9楼 [报告]
发表于 2010-07-19 17:31 |只看该作者
awk 'BEGIN{FS=OFS="/"}!a[$4]++' 3333
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
young19860802

论坛徽章:
0
10楼 [报告]
发表于 2010-07-19 17:31 |只看该作者
回复 6# iori809


    谢谢 懂你意思了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
123下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP