免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 文件比较
12下一页
最近访问板块 发新帖
查看: 1605 | 回复: 11
打印 上一主题 下一主题

[文本处理] 文件比较 [复制链接]

Ladore

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2015-12-15 15:02 |只看该作者 |倒序浏览
本帖最后由 Ladore 于 2015-12-15 15:45 编辑

  2. 文件 nk.txt如下
  3. 123
  4. 456
  5. 7890
  6. ...
  7. 文件 com.txt 如下
  8. AS673 02972   0000000170015612AI123 50134   0000001674815617YU766301347   0000000167481561RT789002972   0000000017001561...

  10. 生成的新文件n_com.t如下：
  11. AI123 50134   0000001674815617RT789002972   0000000017001561

  13. 文件nk.txt中数据无重复，长度为3位或4位。文件com.txt中所有数据为一行，第1位到30位为一组数据，每组数据中第3到第6位(不满4位以空格占位)如果有同nk.txt文件中相同的数据，则输出到新文件n_com.txt。
  14. 新文件中还是每30个字符为一组，所有数据还是为一行


复制代码
songyc_2015

论坛徽章:
20
卯兔 日期:2015-01-26 22:05:142015亚冠之萨济拖拉机 日期:2015-09-10 15:15:282015亚冠之阿尔希拉尔 日期:2015-09-25 17:37:53程序设计版块每日发帖之星 日期:2015-10-03 06:20:00程序设计版块每日发帖之星 日期:2015-12-09 06:20:00CU十四周年纪念徽章 日期:2015-12-17 09:07:15程序设计版块每日发帖之星 日期:2015-12-25 06:20:34程序设计版块每日发帖之星 日期:2015-12-25 06:20:34程序设计版块每日发帖之星 日期:2015-12-25 06:20:342015亚冠之广州富力 日期:2015-08-27 19:29:56每日论坛发贴之星 日期:2015-08-26 06:20:002015亚冠之阿尔希拉尔 日期:2015-05-18 17:26:27
2楼 [报告]
发表于 2015-12-15 15:33 |只看该作者
回复 1# Ladore
  1. awk -vFIELDWIDTHS="30 30 30 30" 'FNR==NR{a[NR]=$0;l=NR;next}{$0=$0}{for(i=1;i<=NF;i++)for(j=1;j<=l;j++)if(substr($i,3,4)~a[j])print $i > n_com.txt}' nk.txt com.txt
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Ladore

论坛徽章:
0
3楼 [报告]
发表于 2015-12-15 15:41 |只看该作者
songyc_2015 发表于 2015-12-15 15:33
回复 1# Ladore


不止4组数据
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Ladore

论坛徽章:
0
4楼 [报告]
发表于 2015-12-15 15:43 |只看该作者
回复 2# songyc_2015
不止4组数据

   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
songyc_2015

论坛徽章:
20
卯兔 日期:2015-01-26 22:05:142015亚冠之萨济拖拉机 日期:2015-09-10 15:15:282015亚冠之阿尔希拉尔 日期:2015-09-25 17:37:53程序设计版块每日发帖之星 日期:2015-10-03 06:20:00程序设计版块每日发帖之星 日期:2015-12-09 06:20:00CU十四周年纪念徽章 日期:2015-12-17 09:07:15程序设计版块每日发帖之星 日期:2015-12-25 06:20:34程序设计版块每日发帖之星 日期:2015-12-25 06:20:34程序设计版块每日发帖之星 日期:2015-12-25 06:20:342015亚冠之广州富力 日期:2015-08-27 19:29:56每日论坛发贴之星 日期:2015-08-26 06:20:002015亚冠之阿尔希拉尔 日期:2015-05-18 17:26:27
5楼 [报告]
发表于 2015-12-15 16:33 |只看该作者
回复 4# Ladore
-vFIELDWIDTHS="30 30 30 30 30 ......"，最大多少组自己往后加
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
sync_1521

论坛徽章:
12
IT运维版块每日发帖之星 日期:2015-11-17 06:20:00程序设计版块每日发帖之星 日期:2016-01-19 06:20:0015-16赛季CBA联赛之江苏 日期:2016-01-17 15:31:3915-16赛季CBA联赛之上海 日期:2016-01-16 15:44:3015-16赛季CBA联赛之浙江 日期:2016-01-15 20:38:1815-16赛季CBA联赛之北京 日期:2016-01-09 14:30:15CU十四周年纪念徽章 日期:2016-01-07 12:31:5115-16赛季CBA联赛之四川 日期:2016-01-01 11:49:1515-16赛季CBA联赛之深圳 日期:2015-12-24 14:23:4115-16赛季CBA联赛之山西 日期:2015-12-15 16:22:31技术图书徽章 日期:2015-12-10 17:41:0015-16赛季CBA联赛之北控 日期:2016-02-03 10:03:24
6楼 [报告]
发表于 2015-12-15 17:05 |只看该作者
  1. awk -F "" 'function out(m){s=substr(m,3,4);sub(" *$","",s);if(s in a){printf m}}NR==FNR{a[$0];next}{for(i=1;i<=NF;i++){if(i%30==1){out(m);m=$i}else{m=m$i}}}END{out(m)}' nk.txt com.txt
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ly5066113

论坛徽章:
23
15-16赛季CBA联赛之吉林 日期:2017-12-21 16:39:27白羊座 日期:2014-10-27 11:14:37申猴 日期:2014-10-23 08:36:23金牛座 日期:2014-09-30 08:26:49午马 日期:2014-09-29 09:40:16射手座 日期:2014-11-25 08:56:112015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东 日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东 日期:2016-01-19 13:33:372015亚冠之山东鲁能 日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者 日期:2015-09-21 08:27:57
7楼 [报告]
发表于 2015-12-15 17:20 |只看该作者
回复 1# Ladore


try:
  1. awk 'NR==FNR{a[substr($0" ",1,4)]++;next}(substr($0,3,4) in a){printf $0}END{print ""}' nk.txt <(grep -Eo '.{30}' com.txt)
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
jason680

论坛徽章:
145
技术图书徽章 日期:2013-10-01 15:32:13戌狗 日期:2013-10-25 13:31:35金牛座 日期:2013-11-04 16:22:07子鼠 日期:2013-11-18 18:48:57白羊座 日期:2013-11-29 10:09:11狮子座 日期:2013-12-12 09:57:42白羊座 日期:2013-12-24 16:24:46辰龙 日期:2014-01-08 15:26:12技术图书徽章 日期:2014-01-17 13:24:40巳蛇 日期:2014-02-18 14:32:59未羊 日期:2014-02-20 14:12:13白羊座 日期:2014-02-26 12:06:59
8楼 [报告]
发表于 2015-12-15 22:31 |只看该作者
回复 1# Ladore

$ awk 'function ss(pos,len){return(len?substr($0,pos,len):substr($0,pos))}BEGIN{while(getline < "nk.txt")a[$0]=1}{t=length/30;for(n=1;n<=t;n++){s=ss(1,30);if(a[ss(3,3)]||a[ss(3,4)])printf ss(1,30);$0=ss(31)}}END{print""}' com.txt
AI123 50134   0000001674815617RT789002972   0000000017001561

   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Ladore

论坛徽章:
0
9楼 [报告]
发表于 2015-12-16 14:55 |只看该作者
回复 7# ly5066113

  2. 你好，如果文件规则变为如下：
  3. 文件 com.txt 如下，要判断的数据从第16位开始，每30位一组，最后10位中最后7位为该文件共有多少组数据
  4. A000DF 80108923AS673 02972   0000000170015612AI123 50134   0000001674815617YU766301347   0000000167481561RT789002972   0000000017001561...B990000052

  6. 生成的新文件n_com.txt如下：规则取com.txt文件中前16位，符合规则的数据，最后十位前三位为com.txt中数据，后面7位符合要求的条数，左补零
  7. A000DF 80108923AI123 50134   0000001674815617RT789002972   0000000017001561B990000002

  9. 这该怎么弄呢
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Ladore

论坛徽章:
0
10楼 [报告]
发表于 2015-12-16 15:05 |只看该作者
本帖最后由 Ladore 于 2015-12-16 19:00 编辑

回复 7# ly5066113

  2. grep -Eo '.{30}' 是什么用法
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP