免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 6615 | 回复: 15
打印 上一主题 下一主题

[文本处理] linux 两个文件列合 并求大神 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-06-20 17:24 |只看该作者 |倒序浏览
写个简单的例子(两个文件第三个"|"之前的数据是一样的且排好序的,只需把第二个文件第三个"|"后面的内容拼接到第一个文件每列的后面):

a.txt
1|2|3|a|b|c|d
3|2|1|aa|dd|bb

b.txt
1|2|3|e|f|g
3|2|1|cc|dd|aa

把上面两个文件合并成以下内容
1|2|3|a|b|c|d|e|f|g
3|2|1|aa|dd|bb|cc|dd|aa

论坛徽章:
768
金牛座
日期:2014-02-26 17:49:58水瓶座
日期:2014-02-26 18:10:15白羊座
日期:2014-04-15 19:29:52寅虎
日期:2014-04-17 19:43:21酉鸡
日期:2014-04-19 21:24:10子鼠
日期:2014-04-22 13:55:24卯兔
日期:2014-04-22 14:20:58亥猪
日期:2014-04-22 16:13:09狮子座
日期:2014-05-05 22:31:17摩羯座
日期:2014-05-06 10:32:53处女座
日期:2014-05-12 09:23:11子鼠
日期:2014-05-21 18:21:27
2 [报告]
发表于 2016-06-20 17:39 |只看该作者
回复 1# chenteng168

都是以前3个列作为key 来合并两个文件吗?
   

论坛徽章:
54
2015亚冠之德黑兰石油
日期:2015-07-07 13:00:1615-16赛季CBA联赛之深圳
日期:2016-03-31 09:03:5415-16赛季CBA联赛之辽宁
日期:2016-05-09 20:38:15程序设计版块每日发帖之星
日期:2016-05-12 06:20:0015-16赛季CBA联赛之四川
日期:2016-05-13 15:19:4715-16赛季CBA联赛之福建
日期:2016-05-15 20:24:34每日论坛发贴之星
日期:2016-05-16 06:20:0015-16赛季CBA联赛之吉林
日期:2016-05-26 11:49:4715-16赛季CBA联赛之广东
日期:2016-05-26 13:49:18极客徽章
日期:2016-12-07 14:05:2315-16赛季CBA联赛之广夏
日期:2016-12-20 17:33:532017金鸡报晓
日期:2017-01-10 15:19:56
3 [报告]
发表于 2016-06-20 17:41 |只看该作者
  1. awk -vFIELDWIDTHS="5 100" 'NR==FNR{a[$1]=$2;next}{print $1 a[$1] $2}' a b
复制代码

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
4 [报告]
发表于 2016-06-20 17:42 |只看该作者
回复 1# chenteng168

$ awk -F'|' '{s=$0;getline <"b.txt";for(n=4;n<=NF;++n)s=s"|"$n;print s}' a.txt
1|2|3|a|b|c|d|e|f|g
3|2|1|aa|dd|bb|cc|dd|aa

   

论坛徽章:
10
2015亚冠之全北现代
日期:2015-06-16 09:16:24CU十四周年纪念徽章
日期:2016-08-08 11:20:3915-16赛季CBA联赛之青岛
日期:2016-02-17 09:14:2015-16赛季CBA联赛之北京
日期:2016-02-12 22:23:3215-16赛季CBA联赛之同曦
日期:2016-01-15 11:11:0815-16赛季CBA联赛之广东
日期:2016-01-15 10:46:4215-16赛季CBA联赛之北控
日期:2015-12-19 18:20:002015亚冠之山东鲁能
日期:2015-07-02 14:03:482015亚冠之吉达阿赫利
日期:2015-06-28 14:08:4015-16赛季CBA联赛之天津
日期:2017-04-21 10:37:41
5 [报告]
发表于 2016-06-20 18:21 |只看该作者
本帖最后由 huazai0715 于 2016-06-20 18:22 编辑

#!/usr/bin/python
l1=[]
l2=[]
l3 = []
l4 = []
with open('a.txt') as f:
        for i in f.readlines():
                i = i.strip('\n')
                l1.append(i.split('|'))
with open('b.txt') as f1:
        for i in f1.readlines():
                i = i.strip('\n')
                l2.append(i.split('|'))

        l3 = sorted(set(l1[0] + l2[0]))
        l4 = sorted(set(l1[1] + l2[1]))
        print('|'.join(l3))
        print('|'.join(l4))

求职 : 技术支持/维
论坛徽章:
0
6 [报告]
发表于 2016-06-20 19:03 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
7 [报告]
发表于 2016-06-21 07:34 |只看该作者
  1. paste a.txt b.txt|sed -r 's/\s+[^|]*(\|[^|]*){2}//'
复制代码

论坛徽章:
0
8 [报告]
发表于 2016-06-21 09:17 |只看该作者
谢谢回复的每位朋友,非常感谢,我采用了:jason680   的AWK方式

论坛徽章:
0
9 [报告]
发表于 2016-06-21 16:22 |只看该作者
回复 4# jason680

现在出现另一个问题,就是a,b文件中每一行最后面多了一个“|”,
a.txt
1|2|3|a|b|c|d|
3|2|1|aa|dd|bb|

b.txt
1|2|3|e|f|g|
3|2|1|cc|dd|aa|
执行:awk -F'|' '{s=$0;getline <"b.txt";for(n=4;n<=NF;++n)s=s"|"$n;print s}' a.txt
结果:
1|2|3|a|b|c|d||e|f|g
3|2|1|aa|dd|bb||cc|dd|aa
第一条d后面多了一个“|”
第二条bb后面多也一个“|”

需要把上面两个文件合并成以下内容
1|2|3|a|b|c|d|e|f|g
3|2|1|aa|dd|bb|cc|dd|aa
   

论坛徽章:
768
金牛座
日期:2014-02-26 17:49:58水瓶座
日期:2014-02-26 18:10:15白羊座
日期:2014-04-15 19:29:52寅虎
日期:2014-04-17 19:43:21酉鸡
日期:2014-04-19 21:24:10子鼠
日期:2014-04-22 13:55:24卯兔
日期:2014-04-22 14:20:58亥猪
日期:2014-04-22 16:13:09狮子座
日期:2014-05-05 22:31:17摩羯座
日期:2014-05-06 10:32:53处女座
日期:2014-05-12 09:23:11子鼠
日期:2014-05-21 18:21:27
10 [报告]
发表于 2016-06-21 16:35 |只看该作者
回复 9# chenteng168

  1. awk -F'|' '{s=$0;sub(/\|$/,"",s);getline <"b.txt";for(n=4;n<=NF;++n)s=s"|"$n;print s}' a.txt
  2. 1|2|3|a|b|c|d|e|f|g|
  3. 3|2|1|aa|dd|bb|cc|dd|aa|
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP