怎么对多个文件进行匹配

huang6894

求大大指教一下：
如果手头上有三个文件的话：
1、ref.txt

1. FCC36J1ACXX:1:1101:13880:10344#GATTAGTG/1       90      78      89      iPE-3+  34      0       11      12      2
   
2. FCC36J1ACXX:1:1101:1346:13037#GATTAGTG/1        90      79      89      iPE-3+  34      0       10      11      2
   

复制代码

2、all.txt

1. @FCC36J1ACXX:1:1101:13880:10344#GATTAGTG/1
   
2. GTGCNACATCTTAACCTCAAGCACAGGAAGCAGTATAAAATCTGTCTCTTATACACATCTCTGAGCGGGCTGGCAAGGCAGACCGGGAGG
   
3. +
   
4. Z^_cBQ\`bcccedd[efg`edfgd_defhchhbbbffghbf[cO^^_e`gghhaace_fgdcfcb`gdcb``ab_^aaa^aXQXRTXX[
   
5. @FCC36J1ACXX:1:1101:1250:2201#GGAGGAAG/1
   
6. GGGGACGAGACCTCAACTCGGTTTTAAATTTATTTATTTTTTATAAATAATAGTTGTACATATTTGGGGCTGTCTCTTATACACATCTCT
   
7. +
   
8. bbbeeeeegggggiiiiiihifghiiiiiiihiiifhiiiiifghhfe____ecghgfhigggggggeecccccccccccccdccccccd

复制代码

3、do.txt

1. GCNACATCTT
   
2. ATAAAATCTGTCTCT
   
3. GACGAGACCTCA
   

复制代码

我现在想对ref.txt建立哈希，第一列是key值，value是第七列和第八列的值，这两个值是第二个文件all.txt对应key值所在段（每四行为一段，每段第一行是key值）的第二行的起始和末尾，比如在ref.txt中key值FCC36J1ACXX:1:1101:13880:10344#GATTAGTG/1对应的数值是 0和11，我们就在第二个文件all.txt中找到对应key段，然后匹配该段的第二行的第一位到十二位的字符 也就是GTGCNACATCTT。我们得到这串字符后去匹配第三个文件do.txt，匹配第三个文件的每一行是否存在于这一串字符串上，如果存在，那么输出第二个文件的这一段，比如上面的文件最后是输出

1. @FCC36J1ACXX:1:1101:13880:10344#GATTAGTG/1
   
2. GTGCNACATCTTAACCTCAAGCACAGGAAGCAGTATAAAATCTGTCTCTTATACACATCTCTGAGCGGGCTGGCAAGGCAGACCGGGAGG
   
3. +
   
4. Z^_cBQ\`bcccedd[efg`edfgd_defhchhbbbffghbf[cO^^_e`gghhaace_fgdcfcb`gdcb``ab_^aaa^aXQXRTXX[
   

复制代码

如果多个重复就输出多次~

请问这样实现是不是比较难呀？求助求助`

yestreenstars

1. awk 'ARGIND==1{a["@"$1]=$7" "$8}ARGIND==2{if(/@/){t=$0;s[t]=$0;if(a[$1])k=1;next}if(k){split(a[t],b);m[t]=substr($0,b[1]+1,b[2]-b[1]+1);k=0}s[t]=s[t]"\n"$0}ARGIND==3{for(i in m)if(m[i]~$0)print s[i]}' ref.txt all.txt do.txt

复制代码

elu_ligao

1. awk '1==ARGIND{a[$1]=$0;next}2==ARGIND{for(i in a)if(index($0,i)){getline s;b[i]=s;break}}3==ARGIND{for(i in b){split(a[i],idx);if(index(substr(b[i],idx[7],idx[8]-idx[7]+1),$0))print a[i]}}' 1.txt 2.txt 3.txt

复制代码

huang6894

回复 2# yestreenstars


    谢谢大大，大大辛苦了~

huang6894

回复 3# elu_ligao


    谢谢，谢谢你

huang6894

回复 2# yestreenstars


    大大，我试图修改你的脚本的时候，发现，如果我的需求是
    “我们得到字符后去匹配第三个文件do.txt，匹配这一串字符串是否存在第三个文件的某一行的开始或者结尾，如果存在，那么输出第二个文件的这一段
    然后我第三个文件改为：

1. TTACGCGTGCNACATCTT
   
2. GTGCNACATCTTATAAAATCTGTCTCT
   
3. GACGAGGTGCNACATCTTACCTCA

复制代码

我先得到结果：

1. @FCC36J1ACXX:1:1101:13880:10344#GATTAGTG/1
   
2. GTGCNACATCTTAACCTCAAGCACAGGAAGCAGTATAAAATCTGTCTCTTATACACATCTCTGAGCGGGCTGGCAAGGCAGACCGGGAGG
   
3. +
   
4. Z^_cBQ\`bcccedd[efg`edfgd_defhchhbbbffghbf[cO^^_e`gghhaace_fgdcfcb`gdcb``ab_^aaa^aXQXRTXX[
   
5. @FCC36J1ACXX:1:1101:13880:10344#GATTAGTG/1
   
6. GTGCNACATCTTAACCTCAAGCACAGGAAGCAGTATAAAATCTGTCTCTTATACACATCTCTGAGCGGGCTGGCAAGGCAGACCGGGAGG
   
7. +
   
8. Z^_cBQ\`bcccedd[efg`edfgd_defhchhbbbffghbf[cO^^_e`gghhaace_fgdcfcb`gdcb``ab_^aaa^aXQXRTXX[

复制代码

似乎改成if($0~/^m/||$0~/m$/)print s}这样不可行啊？怎么破呢？

blackold

try:

1. $ awk 'ARGIND==1{d[$1];next}ARGIND==2{s[$1]=$7+1;e[$1]=$8-$7+1;next}FNR>1&&$1 in s{k=substr($2,s[$1],e[$1]);for(i in d)if(i~"^"k||i~k"$") print "@"$0}' do.txt ref.txt RS="^@|\n@" FS="\n" all.txt
   

复制代码

substr 用错了，已修正。

yestreenstars

回复 6# huang6894

1. 将m[i]~$0改成$0~"^"m[i]||$0~m[i]"$"

复制代码

yestreenstars

回复 7# blackold
黑哥，substr这里貌似有问题吧，substr函数的第二个参数表示起始位置，第三个参数表示长度，而不是终止位置。
假如我要匹配的是第3位到第5位，应该用substr($0,3,3)，而不是substr($0,3,5)。
这里是因为楼主的那两个位置刚好是从1开始的，所以不会出错。

1. [root@localhost test1]# awk 'BEGIN{print substr("123456789",3,5)}'
   
2. 34567
   
3. [root@localhost test1]# awk 'BEGIN{print substr("123456789",3,3)}'
   
4. 345
   
5. [root@localhost test1]#

复制代码

       substr(s, i [, n])      Returns  the at most n-character substring of s
                                    starting at i.  If n is omitted, the rest of  s
                                    is used.

blackold

回复 9# yestreenstars


    已经修正了。