免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 文件合并
最近访问板块 发新帖
查看: 2340 | 回复: 6
打印 上一主题 下一主题

[文本处理] 文件合并 [复制链接]

noshell

论坛徽章:
7
卯兔 日期:2013-10-24 22:27:29天秤座 日期:2013-11-06 17:30:47午马 日期:2015-01-16 10:16:252015年亚洲杯之乌兹别克斯坦 日期:2015-04-02 14:49:302015年亚洲杯之韩国 日期:2015-04-22 14:28:03青铜圣斗士 日期:2015-11-21 00:06:2915-16赛季CBA联赛之天津 日期:2016-02-29 16:26:43
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2014-05-22 13:17 |只看该作者 |倒序浏览
2个文件 a 文件4列，b文件3列，如果每个文件前2列相同就合并成一行。a文件比b文件大。求指点
tgwz88

论坛徽章:
2
狮子座 日期:2014-05-30 21:43:03巳蛇 日期:2014-05-30 21:46:14
2楼 [报告]
发表于 2014-05-22 13:20 |只看该作者
试试join吧
http://www.ibm.com/developerworks/cn/linux/l-textutils.html#9
http://linux.die.net/man/1/join

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
expert1

论坛徽章:
16
IT运维版块每日发帖之星 日期:2015-08-24 06:20:00综合交流区版块每日发帖之星 日期:2015-10-14 06:20:00IT运维版块每日发帖之星 日期:2015-10-25 06:20:00IT运维版块每日发帖之星 日期:2015-11-06 06:20:00IT运维版块每日发帖之星 日期:2015-12-10 06:20:00平安夜徽章 日期:2015-12-26 00:06:302016猴年福章徽章 日期:2016-02-18 15:30:34IT运维版块每日发帖之星 日期:2016-04-15 06:20:00IT运维版块每日发帖之星 日期:2016-05-21 06:20:00综合交流区版块每日发帖之星 日期:2016-08-16 06:20:002015七夕节徽章 日期:2015-08-21 11:06:17IT运维版块每日发帖之星 日期:2015-08-14 06:20:00
3楼 [报告]
发表于 2014-05-22 13:30 |只看该作者
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
noshell

论坛徽章:
7
卯兔 日期:2013-10-24 22:27:29天秤座 日期:2013-11-06 17:30:47午马 日期:2015-01-16 10:16:252015年亚洲杯之乌兹别克斯坦 日期:2015-04-02 14:49:302015年亚洲杯之韩国 日期:2015-04-22 14:28:03青铜圣斗士 日期:2015-11-21 00:06:2915-16赛季CBA联赛之天津 日期:2016-02-29 16:26:43
4楼 [报告]
发表于 2014-05-22 13:37 |只看该作者
joinbu 好像不行 不能指定哪几行相同才合并
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Herowinter

论坛徽章:
780
金牛座 日期:2014-02-26 17:49:58水瓶座 日期:2014-02-26 18:10:15白羊座 日期:2014-04-15 19:29:52寅虎 日期:2014-04-17 19:43:21酉鸡 日期:2014-04-19 21:24:10子鼠 日期:2014-04-22 13:55:24卯兔 日期:2014-04-22 14:20:58亥猪 日期:2014-04-22 16:13:09狮子座 日期:2014-05-05 22:31:17摩羯座 日期:2014-05-06 10:32:53处女座 日期:2014-05-12 09:23:11子鼠 日期:2014-05-21 18:21:27
5楼 [报告]
发表于 2014-05-22 14:01 |只看该作者
回复 1# noshell
不是很清楚合成一行的准确意思，是指以某两列为key，
取两个文件中key相同的公共行吗？没数据，蒙一个算了。
  1. awk 'NR==FNR{a[$1" "$2];next} {if($1" "$2 in a)print}' b a
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
关阴月飞

论坛徽章:
39
辰龙 日期:2013-08-21 15:45:192015亚冠之广州富力 日期:2015-05-12 16:34:52亥猪 日期:2015-03-03 17:22:00申猴 日期:2015-03-03 17:21:37未羊 日期:2014-10-10 13:45:41戌狗 日期:2014-06-17 09:53:29巨蟹座 日期:2014-06-12 23:17:17双鱼座 日期:2014-06-10 12:42:44寅虎 日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫 日期:2015-05-24 15:24:35黄金圣斗士 日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林 日期:2017-06-24 16:43:52
6楼 [报告]
发表于 2014-05-22 14:47 |只看该作者
  1. awk 'FNR==NR{a[$1,$2]=$3;next}{if(a[$1,$2]!="")print $0,a[$1,$2]}'  b  a
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
tgwz88

论坛徽章:
2
狮子座 日期:2014-05-30 21:43:03巳蛇 日期:2014-05-30 21:46:14
7楼 [报告]
发表于 2014-05-22 21:19 |只看该作者
本帖最后由 tgwz88 于 2014-05-22 21:21 编辑

回复 4# noshell


    join的时候先sort
   你把你的join贴出来看看？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP