跨文件比对关键字

怿_mao44

解决。。

当两个不同文件中(输入文件一，第二列与输入文件二，第三列)存在关键字需要匹配，且按此合并匹配成功的记录时，如何匹配

1. 输入文件一：
   
2. 1        aa        123
   
3. 2        aa        234
   
4. 3        bb        345
   
5. 4        bb        445
   
6. 5        dd        234

复制代码

1. 输入文件二：
   
2. A1        111        aa
   
3. B1        222        bb
   
4. B2        333        bb
   
5. B2        333        cc

复制代码

根据输入文件一中第2列，输入文件二中第3列作为关键字进行匹配，输出全部匹配的记录
期望输出结果：

1. 1        aa        123        A1        111        aa
   
2. 2        aa        234        A1        111        aa
   
3. 3        bb        345        B1        222        bb
   
4. 4        bb        445        B1        222        bb
   
5. 3        bb        345        B2        333        bb
   
6. 4        bb        445        B2        333        bb

复制代码

rdcwayx

如果关键字存在于文件一，但是不存在于文件二，或者在文件二，但不在文件一，是否要处理，什么输出格式？

rdcwayx

还有，关键字在每个文件里都有重复，这个如何处理，什么输出格式？

比如下面的文件，你需要什么样的输出。 还有，你这个是实际需求吗，还是只是用来写代码练练手的？

1. 输入文件一：
   
2. 1        aa        123
   
3. 2        aa        234
   
4. 3        bb        345
   
5. 4        bb        445
   
6. 5        dd        234

复制代码

1. 输入文件二：
   
2. A1        111        aa
   
3. B1        222        bb
   
4. B2        333        bb
   
5. B2        333        cc

复制代码

怿_mao44

回复 3# rdcwayx


    前面的情况不用考虑，自己能解决。。

只是关键字在两个输入文件中，都重复的情况，不知道怎么办，总是会有缺失，只能输出部分的结果。。

   主楼上写的只是简化过练习的示例输入输出文件，
示例说明
    在输入文件一中，关键字为第二列，"aa"即出现了重复
输入文件一：

1. 1        aa        123
   
2. 2        aa        234
   
3. 3        bb        345

复制代码

在输入文件二中，关键字为第三列，"bb"也出现了重复
输入文件二：

1. A1        111        aa
   
2. B1        222        bb
   
3. B2        333        bb

复制代码

希望输出的结果中，包含了在输入文件中全部重复的情况，并按照关键字相同的内容合并两个输入文件中的行为同一行
期望的结果文件：

1. 1        aa        123        A1        111        aa
   
2. 2        aa        234        A1        111        aa
   
3. 3        bb        345        B1        222        bb
   
4. 3        bb        345        B2        333        bb

复制代码

rdcwayx

如果 bb 在file1 有重复，在file2也有重复， 比如我给的例子里，你想要什么样的输出？

怿_mao44

回复 5# rdcwayx


根据你的示例文件得到的结果如下
     输入文件一中的“dd”，和输入文件二中的“cc”因为没有匹配的所以不输出

1. 1        aa        123        A1        111        aa
   
2. 2        aa        234        A1        111        aa
   
3. 3        bb        345        B1        222        bb
   
4. 4        bb        445        B1        222        bb
   
5. 3        bb        345        B2        333        bb
   
6. 4        bb        445        B2        333        bb

复制代码

rdcwayx

1. awk 'NR==FNR{key[$2]++;a[$2 FS key[$2]]=$0;next}
   
2.     $3 in key {for (i=1;i<=key[$3];i++) print a[$3 FS i], $0}' OFS="\t" file1 file2

复制代码

怿_mao44

回复 7# rdcwayx


    能问一下代码中key的作用么  

感觉似乎是它在影响，但是查找 awk 或者 shell key 却没有什么相关介绍，不知道是用的什么点。。

rdcwayx

怿_mao44 发表于 2012-05-21 10:29
回复 7# rdcwayx
   能问一下代码中key的作用么   
感觉似乎是它在影响，但是查找 awk 或者 shell key 却没有什么相关介绍，不知道是用的什么点。。

awk里的变量，数组名可以任意定义，用key只是方便阅读理解。写成下面这样的，写得很隐晦，但是看起来只是不太容易帮助理解。

1. awk 'NR==FNR{_[$2]++;a[$2 FS _[$2]]=$0;next}
   
2.     $3 in _ {for (i=1;i<=_[$3];i++) print a[$3 FS i], $0}' OFS="\t" file1 file2

复制代码

怿_mao44

回复 9# rdcwayx


       今天直接上数据测试，发现没有任何结果输出，不知道出现什么问题的了

1. $ grep aa_001080395 file1.txt
   
2. AATK    aa_001080395    17   79091095        79139872        1155    1414    0.2512  687     841     0.2533
   
3. 
   
4. $ grep aa_001080395 file2.txt
   
5. 1250    AATK    aa_001080395
   
6. 3065    AATK    aa_001080395
   
7. 338     AATK    aa_001080395

复制代码

随意抽取的一例，确实在两个文件中都存在记录

但是匹配输出记录为空值

1. $ awk 'NR==FNR{key[$2]++;a[$2 FS key[$2]]=$0;next}
   
2. $3 in key {for (i=1;i<=key[$3];i++) print a[$3 FS i], $0}' OFS="\t" file1.txt file2.txt |wc -l
   
3. 0

复制代码