免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 抛砖引玉，myuniq
最近访问板块 发新帖
查看: 1614 | 回复: 8
打印 上一主题 下一主题

抛砖引玉，myuniq [复制链接]

dourt

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2005-08-22 12:11 |只看该作者 |倒序浏览
bbr的内容如下
bbr:
0046
0046
0046
0002
0002
0032
0043
0002
0043
0043
0035
0043
0043
0032
0032
0032
0046
0032
0032
0046
0002
0046

应用uniq
uniq bbr
0046
0002
0032
0043
0002
0043
0035
0043
0032
0046
0032
0046
0002
0046

应用代码
  1. >bbr.new
  2. for item in `cat bbr`
  3. do
  4. sed "/$item/d" bbr.new>bbr.tmp
  5. echo $item>>bbr.tmp
  6. mv bbr.tmp bbr.new
  7. done
复制代码

得到结果如下
bbr.new:
0035
0043
0032
0002
0046

目的是把文件中出现多次(1~n次)的4位数字提取出来精简成一项形成新文件
区别与uniq是保证新文件中每项唯一,uniq可把连续多行重复精简为一行
此代码缺点是当文件大时很慢,请大家交流     
寂寞烈火

论坛徽章:
1
荣誉会员 日期:2011-11-23 16:44:17
2楼 [报告]
发表于 2005-08-22 12:16 |只看该作者

抛砖引玉，myuniq

try:
sort file|uniq >newfile
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
waker

论坛徽章:
8
摩羯座 日期:2014-11-26 18:59:452015亚冠之浦和红钻 日期:2015-06-23 19:10:532015亚冠之西悉尼流浪者 日期:2015-08-21 08:40:5815-16赛季CBA联赛之山东 日期:2016-01-31 18:25:0515-16赛季CBA联赛之四川 日期:2016-02-16 16:08:30程序设计版块每日发帖之星 日期:2016-06-29 06:20:002017金鸡报晓 日期:2017-01-10 15:19:5615-16赛季CBA联赛之佛山 日期:2017-02-27 20:41:19
3楼 [报告]
发表于 2005-08-22 12:20 |只看该作者

抛砖引玉，myuniq

awk '!a[$0]++'
以前有论过多次了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
林子

论坛徽章:
0
4楼 [报告]
发表于 2005-08-23 17:37 |只看该作者

抛砖引玉，myuniq

sort -u file1>file2
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
dourt

论坛徽章:
0
5楼 [报告]
发表于 2005-08-24 16:39 |只看该作者

抛砖引玉，myuniq

try:
sort file|uniq >newfile

清晰一目了然
awk '!a[$0]++'

通用性极强，但我不清楚
1，!a涵义是？
2，++涵义是？
3，[$0]取每行第一域？默认分隔符是' '？如何自定义域分隔符呢？
sort -u file1>file2

简洁
多谢各位老大啦~
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
3x3eyes

论坛徽章:
0
6楼 [报告]
发表于 2005-08-25 16:24 |只看该作者

抛砖引玉，myuniq

顶一下，我对awk '!a[$0]++' 也不明白
很遗憾前辈们以前讨论这个的时候我没有看到，现在得重新问一次
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
waker

论坛徽章:
8
摩羯座 日期:2014-11-26 18:59:452015亚冠之浦和红钻 日期:2015-06-23 19:10:532015亚冠之西悉尼流浪者 日期:2015-08-21 08:40:5815-16赛季CBA联赛之山东 日期:2016-01-31 18:25:0515-16赛季CBA联赛之四川 日期:2016-02-16 16:08:30程序设计版块每日发帖之星 日期:2016-06-29 06:20:002017金鸡报晓 日期:2017-01-10 15:19:5615-16赛季CBA联赛之佛山 日期:2017-02-27 20:41:19
7楼 [报告]
发表于 2005-08-25 16:46 |只看该作者

抛砖引玉，myuniq

http://phi.sinica.edu.tw/aspac/reports/94/94011/

这篇多读篇自然就懂了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
kakaxiong

论坛徽章:
0
8楼 [报告]
发表于 2005-08-25 17:07 |只看该作者

抛砖引玉，myuniq

恩恩，马上拜读
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
3x3eyes

论坛徽章:
0
9楼 [报告]
发表于 2005-08-26 11:15 |只看该作者

抛砖引玉，myuniq

很多页面是乱码，用南极星没有转换过来，请问是我的问题还是他的问题
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP