免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 【特别感谢jason680神】
1234下一页
最近访问板块 发新帖
查看: 4347 | 回复: 31
打印 上一主题 下一主题

[文本处理] 【特别感谢jason680神】 [复制链接]

Windows19

论坛徽章:
22
2015年亚洲杯之科威特 日期:2015-04-18 15:27:07每日论坛发贴之星 日期:2016-01-27 06:20:0015-16赛季CBA联赛之广夏 日期:2016-03-28 16:20:51程序设计版块每日发帖之星 日期:2016-04-09 06:20:00CU十四周年纪念徽章 日期:2016-05-03 09:35:1415-16赛季CBA联赛之天津 日期:2016-11-18 08:31:3115-16赛季CBA联赛之山西 日期:2016-12-07 16:29:5315-16赛季CBA联赛之八一 日期:2017-01-10 11:34:3415-16赛季CBA联赛之吉林 日期:2017-03-30 22:51:1915-16赛季CBA联赛之广夏 日期:2017-04-13 20:51:52程序设计版块每日发帖之星 日期:2016-01-27 06:20:00每日论坛发贴之星 日期:2015-12-28 06:20:00
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2015-05-02 10:04 来自手机 |只看该作者 |倒序浏览
本帖最后由 Windows19 于 2015-11-20 12:56 编辑

谢谢        
kooleon

论坛徽章:
3
金牛座 日期:2013-08-26 10:25:02摩羯座 日期:2013-09-09 15:14:322015年亚洲杯之约旦 日期:2015-05-06 09:33:56
2楼 [报告]
发表于 2015-05-02 11:55 |只看该作者
把你的ad.txt 复制出来。然后使用ab.txt做为循环内容，去删除文件夹里所有文件内容的重复行。

著述一下： for i in$(cat  ad.txt) ;do  sed -i "/$i/d"   目标文件夹/*.txt  ;done    (sed 直接修改了文件，请先备份好所要修改的所有文件）
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Windows19

论坛徽章:
22
2015年亚洲杯之科威特 日期:2015-04-18 15:27:07每日论坛发贴之星 日期:2016-01-27 06:20:0015-16赛季CBA联赛之广夏 日期:2016-03-28 16:20:51程序设计版块每日发帖之星 日期:2016-04-09 06:20:00CU十四周年纪念徽章 日期:2016-05-03 09:35:1415-16赛季CBA联赛之天津 日期:2016-11-18 08:31:3115-16赛季CBA联赛之山西 日期:2016-12-07 16:29:5315-16赛季CBA联赛之八一 日期:2017-01-10 11:34:3415-16赛季CBA联赛之吉林 日期:2017-03-30 22:51:1915-16赛季CBA联赛之广夏 日期:2017-04-13 20:51:52程序设计版块每日发帖之星 日期:2016-01-27 06:20:00每日论坛发贴之星 日期:2015-12-28 06:20:00
3楼 [报告]
发表于 2015-05-02 13:09 |只看该作者
本帖最后由 Windows19 于 2015-05-02 13:14 编辑

回复 2# kooleon


    所有目标文件就在home下的刚才试了一下  报错   我基础不好 大神 能否写条复制过来就能用的  謝謝
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
songyc_2015

论坛徽章:
20
卯兔 日期:2015-01-26 22:05:142015亚冠之萨济拖拉机 日期:2015-09-10 15:15:282015亚冠之阿尔希拉尔 日期:2015-09-25 17:37:53程序设计版块每日发帖之星 日期:2015-10-03 06:20:00程序设计版块每日发帖之星 日期:2015-12-09 06:20:00CU十四周年纪念徽章 日期:2015-12-17 09:07:15程序设计版块每日发帖之星 日期:2015-12-25 06:20:34程序设计版块每日发帖之星 日期:2015-12-25 06:20:34程序设计版块每日发帖之星 日期:2015-12-25 06:20:342015亚冠之广州富力 日期:2015-08-27 19:29:56每日论坛发贴之星 日期:2015-08-26 06:20:002015亚冠之阿尔希拉尔 日期:2015-05-18 17:26:27
4楼 [报告]
发表于 2015-05-02 13:16 |只看该作者
回复 3# Windows19
  1. awk 'ARGIND==1{a[$0]=1}ARGIND!=1{if(a[$0]!=1)print > FILENAME".tmp"}' ad.txt *.txt
  2. ls -1F *.tmp | awk -F\. '{s=gensub(/\.tmp$/,"",1);printf("mv -f %s %s\n",$0,s)}' | sh
复制代码
这是一个文件夹里文件的处理，如果是多个文件夹，在外面写一个循环，试试看
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Windows19

论坛徽章:
22
2015年亚洲杯之科威特 日期:2015-04-18 15:27:07每日论坛发贴之星 日期:2016-01-27 06:20:0015-16赛季CBA联赛之广夏 日期:2016-03-28 16:20:51程序设计版块每日发帖之星 日期:2016-04-09 06:20:00CU十四周年纪念徽章 日期:2016-05-03 09:35:1415-16赛季CBA联赛之天津 日期:2016-11-18 08:31:3115-16赛季CBA联赛之山西 日期:2016-12-07 16:29:5315-16赛季CBA联赛之八一 日期:2017-01-10 11:34:3415-16赛季CBA联赛之吉林 日期:2017-03-30 22:51:1915-16赛季CBA联赛之广夏 日期:2017-04-13 20:51:52程序设计版块每日发帖之星 日期:2016-01-27 06:20:00每日论坛发贴之星 日期:2015-12-28 06:20:00
5楼 [报告]
发表于 2015-05-02 13:53 |只看该作者
本帖最后由 Windows19 于 2015-11-09 08:59 编辑

[attachimg]670000[/att[attachimg回复 4# songyc_2015


   测试了一下  文件没变过
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
songyc_2015

论坛徽章:
20
卯兔 日期:2015-01-26 22:05:142015亚冠之萨济拖拉机 日期:2015-09-10 15:15:282015亚冠之阿尔希拉尔 日期:2015-09-25 17:37:53程序设计版块每日发帖之星 日期:2015-10-03 06:20:00程序设计版块每日发帖之星 日期:2015-12-09 06:20:00CU十四周年纪念徽章 日期:2015-12-17 09:07:15程序设计版块每日发帖之星 日期:2015-12-25 06:20:34程序设计版块每日发帖之星 日期:2015-12-25 06:20:34程序设计版块每日发帖之星 日期:2015-12-25 06:20:342015亚冠之广州富力 日期:2015-08-27 19:29:56每日论坛发贴之星 日期:2015-08-26 06:20:002015亚冠之阿尔希拉尔 日期:2015-05-18 17:26:27
6楼 [报告]
发表于 2015-05-02 14:01 |只看该作者
回复 5# Windows19
   

QQ图片20150502135746.png (20.31 KB, 下载次数: 70)

QQ图片20150502135746.png
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Windows19

论坛徽章:
22
2015年亚洲杯之科威特 日期:2015-04-18 15:27:07每日论坛发贴之星 日期:2016-01-27 06:20:0015-16赛季CBA联赛之广夏 日期:2016-03-28 16:20:51程序设计版块每日发帖之星 日期:2016-04-09 06:20:00CU十四周年纪念徽章 日期:2016-05-03 09:35:1415-16赛季CBA联赛之天津 日期:2016-11-18 08:31:3115-16赛季CBA联赛之山西 日期:2016-12-07 16:29:5315-16赛季CBA联赛之八一 日期:2017-01-10 11:34:3415-16赛季CBA联赛之吉林 日期:2017-03-30 22:51:1915-16赛季CBA联赛之广夏 日期:2017-04-13 20:51:52程序设计版块每日发帖之星 日期:2016-01-27 06:20:00每日论坛发贴之星 日期:2015-12-28 06:20:00
7楼 [报告]
发表于 2015-05-02 14:14 |只看该作者
本帖最后由 Windows19 于 2015-05-02 14:20 编辑

回复 6# songyc_2015


    请问我在那里出错?  求解
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Windows19

论坛徽章:
22
2015年亚洲杯之科威特 日期:2015-04-18 15:27:07每日论坛发贴之星 日期:2016-01-27 06:20:0015-16赛季CBA联赛之广夏 日期:2016-03-28 16:20:51程序设计版块每日发帖之星 日期:2016-04-09 06:20:00CU十四周年纪念徽章 日期:2016-05-03 09:35:1415-16赛季CBA联赛之天津 日期:2016-11-18 08:31:3115-16赛季CBA联赛之山西 日期:2016-12-07 16:29:5315-16赛季CBA联赛之八一 日期:2017-01-10 11:34:3415-16赛季CBA联赛之吉林 日期:2017-03-30 22:51:1915-16赛季CBA联赛之广夏 日期:2017-04-13 20:51:52程序设计版块每日发帖之星 日期:2016-01-27 06:20:00每日论坛发贴之星 日期:2015-12-28 06:20:00
8楼 [报告]
发表于 2015-05-02 14:24 |只看该作者
打开看看 不能去重
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Windows19

论坛徽章:
22
2015年亚洲杯之科威特 日期:2015-04-18 15:27:07每日论坛发贴之星 日期:2016-01-27 06:20:0015-16赛季CBA联赛之广夏 日期:2016-03-28 16:20:51程序设计版块每日发帖之星 日期:2016-04-09 06:20:00CU十四周年纪念徽章 日期:2016-05-03 09:35:1415-16赛季CBA联赛之天津 日期:2016-11-18 08:31:3115-16赛季CBA联赛之山西 日期:2016-12-07 16:29:5315-16赛季CBA联赛之八一 日期:2017-01-10 11:34:3415-16赛季CBA联赛之吉林 日期:2017-03-30 22:51:1915-16赛季CBA联赛之广夏 日期:2017-04-13 20:51:52程序设计版块每日发帖之星 日期:2016-01-27 06:20:00每日论坛发贴之星 日期:2015-12-28 06:20:00
9楼 [报告]
发表于 2015-05-02 14:31 |只看该作者
大神来帮帮忙吧
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Windows19

论坛徽章:
22
2015年亚洲杯之科威特 日期:2015-04-18 15:27:07每日论坛发贴之星 日期:2016-01-27 06:20:0015-16赛季CBA联赛之广夏 日期:2016-03-28 16:20:51程序设计版块每日发帖之星 日期:2016-04-09 06:20:00CU十四周年纪念徽章 日期:2016-05-03 09:35:1415-16赛季CBA联赛之天津 日期:2016-11-18 08:31:3115-16赛季CBA联赛之山西 日期:2016-12-07 16:29:5315-16赛季CBA联赛之八一 日期:2017-01-10 11:34:3415-16赛季CBA联赛之吉林 日期:2017-03-30 22:51:1915-16赛季CBA联赛之广夏 日期:2017-04-13 20:51:52程序设计版块每日发帖之星 日期:2016-01-27 06:20:00每日论坛发贴之星 日期:2015-12-28 06:20:00
10楼 [报告]
发表于 2015-05-02 14:39 来自手机 |只看该作者
用2楼大神的也不行
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
1234下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP