[已解决]awk处理csv文件合并问题

abcfy2

手头有三个csv文件
file1.csv:

1. id,ssn
   
2. 1,aaaa
   
3. 2,bbbb
   
4. 3,cccc
   
5. 4,

复制代码

file2.csv

1. timestamp
   
2. 1111111
   
3. 222222
   
4. 
   
5. 444444

复制代码

file3.csv

1. ssn,info
   
2. bbbb,infob
   
3. cccc,infoc
   
4. aaaa,infoa

复制代码

要求:
1. 将file2.csv的列全部插入file1.csv的第二列，得到一个file1+2.csv文件file1+2.csv

1. id,timestamp,ssn
   
2. 1,11111,aaaa
   
3. 2,22222,bbbb
   
4. 3,,cccc
   
5. 4,4444,

复制代码

2. 得到的结果再和file3.csv按照ssn进行LEFT JOIN操作

得到最终的结果:

1. id,timestamp,ssn,info
   
2. 1,111111,aaaa,infoa
   
3. 2,222222,bbbb,infob
   
4. 3,,cccc,infoc
   
5. 4,4444444,,

复制代码

整个过程的SQL描述类似于:

1. SELECT file1.id, file2.timestamp, file1.ssn, file3.info FROM file1.csv,file2.csv LEFT JOIN file3.csv ON file1.ssn = file3.ssn;

复制代码

moperyblue

1. awk -F, 'NR==FNR{a[$1]=$2;next}{$4=a[$3]}1' OFS=, file3.csv <(paste file1.csv file2.csv|sed -r 's/(,.*)\t(.*)/,\2\1/')

复制代码

moperyblue

文件1和文件2的行数一样?

abcfy2

回复 3# moperyblue

对，是一样的

moperyblue

回复 4# abcfy2


那先试试效果

abcfy2

第一个问题我在http://stackoverflow.com/questions/1602035/how-to-print-third-column-to-last-column 找到了答案

awk -F, '{getline f1 < "file2.csv"; print $1,f1,substr($0, index($0,$2))}' OFS=, file1.csv

第二个问题应该可以用join解决

moperyblue

回复 6# abcfy2


对 可以用join 不过要先排序再join

jcdiy0601

1. awk 'BEGIN{FS=OFS=","}{a=$1;c=$2;getline<"2"}{b=$1;print a,b,c}' 1 > 1+2
   
2. 
   
3. awk 'BEGIN{FS=OFS=","}NR==FNR{a[$1]=$2;next}NR>FNR{if(a[$3]){print $0,a[$3]}else{print $0,""}}' 3 1+2

复制代码

冠标电商

回复 4# abcfy2

6666666666666