免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
12下一页
最近访问板块 发新帖
查看: 2394 | 回复: 10

[文本处理] 弄了好多天了,求大神解答shell关于两个文件选择性合并问题 [复制链接]

论坛徽章:
0
发表于 2018-03-06 12:00 |显示全部楼层
本帖最后由 湖湘志 于 2018-03-06 15:11 编辑

有两个文件1.txt、2.txt,如下
cat 1.txt
a1|HN|CS  80
a2|HN|XT  81
b4|ZJ|HZ  90
b6|AH|LA  91

cat 2.txt
[A]
a1|HN|CS 11  22  33  
a2|HN|XT 22  33
[B]
b4|ZJ|HZ  55  66
b6|AH|LA  77  88  99


想实现一个3.txt文件,格式如下:
cat 3.txt
[A]
a1|HN|CS 80 11  22  33  
a2|HN|XT 81 22  33
[B]
b4|ZJ|HZ  90  55  66
b6|AH|LA  91  88  99




3.txt解读:分别读取2.txt中的每一行,如果第一个值$1(以“空格”作为分隔符)在1.txt中的话,就把1.txt的第二个值$2插入2.txt的第二列,2.txt原来的$2、$3、$4就变成$3、$4、$5,写入3.txt;如果2.txt的$1(如[A]、[B])不存在于1.txt的$1中的话,就读取原来的2.txt此行的内容写入3.txt

论坛徽章:
21
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之深圳
日期:2018-06-15 14:59:3715-16赛季CBA联赛之八一
日期:2018-07-03 16:56:4615-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之青岛
日期:2018-06-08 13:45:2815-16赛季CBA联赛之同曦
日期:2018-06-04 19:42:2015-16赛季CBA联赛之山东
日期:2018-05-30 12:44:59
发表于 2018-03-06 13:00 |显示全部楼层
  1. awk 'FILENAME==ARGV[1]{a[$1]=$2;next}{for(i=2;i<=NF;i++){s=s?s" "$i:$i};print $1,a[$1],s>"3.txt";s=""}' 1.txt 2.txt
复制代码

论坛徽章:
21
申猴
日期:2014-10-10 15:56:39射手座
日期:2014-10-10 15:57:18黑曼巴
日期:2018-05-14 11:05:122016科比退役纪念章
日期:2018-05-14 11:05:0715-16赛季CBA联赛之北控
日期:2018-05-14 11:05:0015-16赛季CBA联赛之江苏
日期:2017-02-27 18:11:0715-16赛季CBA联赛之上海
日期:2018-08-15 09:48:5415-16赛季CBA联赛之佛山
日期:2018-07-20 17:14:23
发表于 2018-03-06 14:06 |显示全部楼层
  1. [jflm@iZuf66ok7meh51u3foisgfZ tmp]$ awk 'NR==FNR{a[$1]=$0}NR!=FNR{if(a[$1]){$1=a[$1]};print}' 1.txt 2.txt
  2. [A]
  3. a1|HN|CS  80 11 22 33
  4. a2|HN|XT  81 22 33
  5. [B]
  6. b4|ZJ|HZ  90 55 66
  7. b6|AH|LA  91 77 88 99
复制代码

论坛徽章:
130
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
发表于 2018-03-06 14:19 |显示全部楼层
回复 1# 湖湘志

$ awk 'FNR==NR{a[$1]=$2;next}NF>1{$2=a[$1]" "$2}1' 1.txt 2.txt
[A]
a1|HN|CS 80 11 22 33
a2|HN|XT 81 22 33
[B]
b4|ZJ|HZ 90 55 66
b6|AH|LA 91 77 88 99

论坛徽章:
0
发表于 2018-03-06 14:25 |显示全部楼层
本帖最后由 湖湘志 于 2018-03-06 14:34 编辑

回复 2# wh7211 测试了一下,可以用,已经打赏过,谢谢了!!!



论坛徽章:
0
发表于 2018-03-06 14:30 |显示全部楼层
本帖最后由 湖湘志 于 2018-03-06 14:39 编辑

回复 4# jason680 刚测过,您提供的也是对的,相对更简单,谢谢!


论坛徽章:
0
发表于 2018-03-06 14:53 |显示全部楼层
回复 3# chengchow 谢谢,您给出的答案能解决问题



论坛徽章:
0
发表于 2018-03-06 15:03 |显示全部楼层
2、3、4楼给出的答案都能解决问题
总结一下:
2楼的答案会存在个别行末尾添加空格的问题,影响不大
3楼给出的答案,会保存原2.txt中各列中原有缩进,适合处理要保存原有缩进方式的文件
4楼的答案是各列中以空格缩进,比较符合我这次处理文本的要求

论坛徽章:
0
发表于 2018-03-06 15:55 |显示全部楼层
回复 4# jason680
Can you help explain the meaning of the order? Start from NF>1

论坛徽章:
130
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
发表于 2018-03-06 16:08 |显示全部楼层
回复 9# 湖湘志

$ awk '{print "NF="NF,$0}' 2.txt
NF=1 [A]
NF=4 a1|HN|CS 11  22  33  
NF=3 a2|HN|XT 22  33
NF=1 [B]
NF=3 b4|ZJ|HZ  55  66
NF=4 b6|AH|LA  77  88  99

$ awk 'FNR==NR{a[$1]=$2;next}{$1=$1" "a[$1]}1' 1.txt 2.txt
[A]
a1|HN|CS 80 11 22 33
a2|HN|XT 81 22 33
[B]
b4|ZJ|HZ 90 55 66
b6|AH|LA 91 77 88 99

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

数据风云,十年变迁
DTCC 第十届中国数据库技术大会已启航!

2019年5月8日~5月10日,由IT168旗下ITPUB企业社区平台主办的第十届中国数据库技术大会(DTCC2019),将在北京隆重召开。大会将邀请百余位行业专家,就热点技术话题进行分享,是广大数据领域从业人士的又一次年度盛会和交流平台。与SACC2018类似,本届大会将采用“3+2”模式:3天传统技术演讲+2天深度主题培训。大会不仅提供超100场的主题演讲,还会提供连续2天的深度课程培训,深化数据领域的项目落地实践方案。
DTCC2019,一场值得期待的数据技术盛会,殷切地希望您报名参与!

活动入口>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP