免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 有个关于文件提取的问题
12下一页
最近访问板块 发新帖
查看: 2549 | 回复: 12
打印 上一主题 下一主题

有个关于文件提取的问题 [复制链接]

filwy

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2008-09-03 15:44 |只看该作者 |倒序浏览
借此问下，我有个文件内容如下，当第一列相同时，第二列的内容只出现一次的就提取出来。谢谢！！


aa  aaa
aa  abb
aa  abb
aa  aaa
bb  aaa
bb  abb
bb  bbb
bb  aaa
bb  bbb


提取后的数据为

aa  aaa
aa  abb
bb  aaa
bb  abb
bb  bbb
ly5066113

论坛徽章:
23
15-16赛季CBA联赛之吉林 日期:2017-12-21 16:39:27白羊座 日期:2014-10-27 11:14:37申猴 日期:2014-10-23 08:36:23金牛座 日期:2014-09-30 08:26:49午马 日期:2014-09-29 09:40:16射手座 日期:2014-11-25 08:56:112015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东 日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东 日期:2016-01-19 13:33:372015亚冠之山东鲁能 日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者 日期:2015-09-21 08:27:57
2楼 [报告]
发表于 2008-09-03 15:45 |只看该作者
awk '!a[$0]++' urfile
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
welcome008

论坛徽章:
0
3楼 [报告]
发表于 2008-09-03 15:53 |只看该作者
sort -k1,2 -u filename
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
leetaedong

论坛徽章:
1
处女座 日期:2014-12-23 17:59:27
4楼 [报告]
发表于 2008-09-03 15:58 |只看该作者
原帖由 filwy 于 2008-9-3 15:44 发表
借此问下，我有个文件内容如下，当第一列相同时，第二列的内容只出现一次的就提取出来。谢谢！！


aa  aaa
aa  abb
aa  abb
aa  aaa
bb  aaa
bb  abb
bb  bbb
bb  aaa
bb  bbb


提取后的数据为 ...

lz 你直接说去重不得了.  
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
MYSQLER

论坛徽章:
3
CU大牛徽章 日期:2013-03-13 15:29:07CU大牛徽章 日期:2013-03-13 15:29:49CU大牛徽章 日期:2013-03-13 15:30:19
5楼 [报告]
发表于 2008-09-03 16:04 |只看该作者
sort -u file
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
welcome008

论坛徽章:
0
6楼 [报告]
发表于 2008-09-03 16:07 |只看该作者
原帖由 leetaedong 于 2008-9-3 15:58 发表

lz 你直接说去重不得了.  


弄的我也一晕一晕的
还来了个
sort -k1,2 -u filename


实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
CrazyFormat

论坛徽章:
0
7楼 [报告]
发表于 2008-09-03 16:36 |只看该作者
原帖由 ly5066113 于 2008-9-3 15:45 发表
awk '!a[$0]++' urfile


这个能不能解释一下执行过程？

[ 本帖最后由 CrazyFormat 于 2008-9-3 16:43 编辑 ]
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
爱知

论坛徽章:
0
8楼 [报告]
发表于 2008-09-03 18:26 |只看该作者
看着文件已排序好的

uniq file
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
filwy

论坛徽章:
0
9楼 [报告]
发表于 2008-09-03 19:17 |只看该作者

回复 #4 leetaedong 的帖子

呵呵，，表达错了，因为我只是在提取了2列来说明哦！！所以不能直接去重复！

sort -k1,2 -u filename   要试下。。谢谢。。

另外，，
我有个文件，某一列的值要换成空值。。但还要保留&符号

如文件
axy&20080903&河南，。&
abx&20080903&所有的&
abb&20080903&呵呵&
ab&20080903&好的&

要把第三列的置为空值。。
能用sed实现吗？？


awk 'BEGIN{OF="&"} {print $1,$2} file 这个满足不了需求，& 不能保留

[ 本帖最后由 filwy 于 2008-9-3 19:23 编辑 ]
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ly5066113

论坛徽章:
23
15-16赛季CBA联赛之吉林 日期:2017-12-21 16:39:27白羊座 日期:2014-10-27 11:14:37申猴 日期:2014-10-23 08:36:23金牛座 日期:2014-09-30 08:26:49午马 日期:2014-09-29 09:40:16射手座 日期:2014-11-25 08:56:112015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东 日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东 日期:2016-01-19 13:33:372015亚冠之山东鲁能 日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者 日期:2015-09-21 08:27:57
10楼 [报告]
发表于 2008-09-03 19:27 |只看该作者
awk 'BEGIN{FS=OFS="&"} {$3="";print} file
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP