免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 怎样删除某列中重复的字符串？ 谢谢
12345下一页
最近访问板块 发新帖
查看: 20197 | 回复: 47
打印 上一主题 下一主题

怎样删除某列中重复的字符串？ 谢谢 [复制链接]

BlueBlack

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2009-01-06 14:50 |只看该作者 |倒序浏览
有很多行
其中第二列是IP列表，各IP是以','分开的，想干掉重复的IP，怎么做，谢谢了

例如
10.1.2.3,10.1.2.3,10.1.2.3,10.2.3.4,10.2.3.4,10.2.3.4,172.23.2.34,172.23.2.34,172.23.2.34
10.1.2.4,10.1.2.4,10.2.3.78,10.2.3.78,172.23.12.35,172.23.12.35
10.2.1.65,10.2.1.65,10.7.8.79,10.7.8.79

处理后变成这样：
10.1.2.3,10.2.3.4,172.23.2.34
10.1.2.4,10.2.3.78,172.23.12.35
10.2.1.65,10.7.8.79
ly5066113

论坛徽章:
23
15-16赛季CBA联赛之吉林 日期:2017-12-21 16:39:27白羊座 日期:2014-10-27 11:14:37申猴 日期:2014-10-23 08:36:23金牛座 日期:2014-09-30 08:26:49午马 日期:2014-09-29 09:40:16射手座 日期:2014-11-25 08:56:112015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东 日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东 日期:2016-01-19 13:33:372015亚冠之山东鲁能 日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者 日期:2015-09-21 08:27:57
2楼 [报告]
发表于 2009-01-06 15:30 |只看该作者
sed -r ':a;s/([0-9]+(\.[0-9]+){3})(.*),\1/\1\3/;ta' urfile
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
BlueBlack

论坛徽章:
0
3楼 [报告]
发表于 2009-01-06 15:35 |只看该作者

回复 #2 ly5066113 的帖子

谢谢了
能讲解下不，看不懂呢，^_^
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
BlueBlack

论坛徽章:
0
4楼 [报告]
发表于 2009-01-06 15:45 |只看该作者

回复 #2 ly5066113 的帖子

172.16.19.46
172.16.19.21,172.16.19.21,172.16.19.21,172.26.19.21,172.26.19.21,172.26.19.21   
172.16.19.69,172.16.19.69,172.16.19.69,172.26.19.69,172.26.19.69,172.26.19.69
172.16.19.70,172.16.19.70,172.16.19.70,172.26.19.70,172.26.19.70,172.26.19.70

像这种 还是无法处理
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
BlueBlack

论坛徽章:
0
5楼 [报告]
发表于 2009-01-06 15:49 |只看该作者

回复 #4 BlueBlack 的帖子

像这种
172.16.19.46,172.16.19.47
172.16.19.21,172.16.19.21,172.16.19.21,172.26.19.21,172.26.19.21,172.26.19.21
172.16.19.69,172.16.19.69,172.16.19.69,172.26.19.69,172.26.19.69,172.26.19.69
172.16.19.70,172.16.19.70,172.16.19.70,172.26.19.70,172.26.19.70,172.26.19.70
处理后变成这样了：
172.16.19.467
172.16.19.21,172.26.19.21
172.16.19.69,172.26.19.69
172.16.19.70,172.26.19.70
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ILoveMK

论坛徽章:
1
丑牛 日期:2014-08-07 17:07:05
6楼 [报告]
发表于 2009-01-06 15:50 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
feigepp

论坛徽章:
0
7楼 [报告]
发表于 2009-01-06 15:50 |只看该作者

回复 #1 BlueBlack 的帖子

awk -F "," '{for (i=1;i<=NF;i++) print $i}' test |uniq

这样可以吗？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
luyi1983

论坛徽章:
0
8楼 [报告]
发表于 2009-01-06 15:50 |只看该作者
比较笨的方法 你可以多用几个pipe
先换成列 sort uniq
然后 替换回去
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ILoveMK

论坛徽章:
1
丑牛 日期:2014-08-07 17:07:05
9楼 [报告]
发表于 2009-01-06 15:51 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
luyi1983

论坛徽章:
0
10楼 [报告]
发表于 2009-01-06 15:52 |只看该作者

回复 #6 ILoveMK 的帖子

好像是 保存后面的内容到÷3
给sed下一次 替换使用

貌似
tim的command的问题就是不能处理
开头和结尾2个field重复的问题

[ 本帖最后由 luyi1983 于 2009-1-6 15:54 编辑 ]
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12345下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP