去除重复位置的序列

wd_my

A文件有三列数据：序列id,起始位置，终止位置chr1  200      400
chr1  430      1000
chr2  150      300
chr3  20        100
chr4  60        250
chr5  40        250
B文件同样三列数据：序列id,起始位置，终止位置
chr1  100      300
chr1  450      600
chr2  180      300
chr3  60        110
chr4  40        200

chr4  80        200
chr5  25        90



问题:将B文件中完全被包含在A文件中的序列删除，得到如下结果
chr1  100      300
chr3  60        110
chr4  40        200

chr5  25        90

waker

1. 
   
2. awk 'NR==FNR{s[$1]=$2;e[$1]=$3}
   
3. NR>FNR&&(NF==0||$2<s[$1]||$3>e[$1])' urfileA urfileB
   

复制代码

ll104567

回复 2# waker

A文件的如果包含重复的数据就不太行，
比如他和问题在同一行的那个数据和后边的chr1调换位置，
不是唯一的键值对应，所以不能直接这么写，不知道我说清楚没

Shell_HAT

回复 3# ll104567


能否举例说明？

nulcearbear

1. #!/bin/bash
   
2. IFS=$"\n"
   
3. if [ $# -ne 2 ];then
   
4.     echo "sh $0 file_baseline file_to_filter"
   
5.     exit
   
6. fi
   
7. file_a=$1
   
8. file_b=$2
   
9. 
   
10. for tmp in `cat $file_b`
    
11. do
    
12.     index_b=`echo $tmp |awk '{print $1}'`
    
13.     start_b=`echo $tmp |awk '{print $2}'`
    
14.     stop_b=`echo $tmp |awk '{print $3}'`
    
15.     flag=0
    
16.     result=`grep $index_b $file_a`
    
17.     for line in $result
    
18.     do
    
19.         index_a=`echo $line |awk '{print $1}'`
    
20.         start_a=`echo $line |awk '{print $2}'`
    
21.         stop_a=`echo $line  |awk '{print $3}'`
    
22.         if [ $start_a -le $start_b ] && [ $stop_a -ge $stop_b ]
    
23.         then
    
24.             flag=$(($flag+1))
    
25.         fi
    
26.         #echo $index_a $start_a $stop_a $flag $index_b $start_b $stop_b
    
27.     done
    
28.     if [ $flag -eq 0 ]
    
29.     then
    
30.         echo $index_b $start_b $stop_b
    
31.     fi
    
32. done

复制代码

wh7211

回复 1# wd_my

1. cat 1
   
2. chr1  200      400
   
3. chr1  430      1000
   
4. chr2  150      300
   
5. chr3  20        100
   
6. chr4  60        250
   
7. chr5  40        250
   
8. 
   
9. cat 2
   
10. chr1  100      300
    
11. chr1  450      600
    
12. chr2  180      300
    
13. chr3  60        110
    
14. chr4  40        200
    
15. 
    
16. chr4  80        200
    
17. chr5  25        90
    
18. 
    
19. awk 'FILENAME==ARGV[1]{a[$1]=$2;b[$1]=$3;next}/^$/||$2<a[$1]||$3>b[$1]' 1 2
    
20. chr1  100      300
    
21. chr3  60        110
    
22. chr4  40        200
    
23. 
    
24. chr5  25        90

复制代码

ll104567

回复 4# Shell_HAT
我的意思是这样的，如果多出来一个有重叠的数据的情况，第一行的90-350 和后边的200-400有重叠部分，会有一点问题

1. root@lp:~/lp/python/data# cat a.txt
   
2. <font color="Red">chr1  90       350</font>
   
3. chr1  200      400
   
4. chr1  430      1000
   
5. chr2  150      300
   
6. chr3  20        100
   
7. chr4  60        250
   
8. chr5  40        250
   
9. root@lp:~/lp/python/data# cat b.txt
   
10. chr1  100      300
    
11. chr1  450      600
    
12. chr2  180      300
    
13. chr3  60        110
    
14. chr4  40        200
    
15. chr4  80        200
    
16. chr5  25        90
    
17. root@lp:~/lp/python/data# awk 'NR==FNR{s[$1]=$2;e[$1]=$3}NR>FNR&&(NF==0||$2<s[$1]||$3>e[$1])'  a.txt b.txt
    
18. chr1  100      300
    
19. chr3  60        110
    
20. chr4  40        200
    
21. chr5  25        90
    

复制代码

ll104567

root@lp:~/lp/python/data# cat x.csv
chr1  100 300
chr3 60 110
chr4 40 200
chr5 25 90
root@lp:~/lp/python/data# cat get_data.py

1. import pandas as pd
   
2. 
   
3. a = pd.read_csv('a.txt',header=None,names=['id','start','end'],sep='\s+')
   
4. b = pd.read_csv('b.txt',header=None,names=['id','start','end'],sep='\s+')
   
5. 
   
6. x = []
   
7. for i in range(b.shape[0]):
   
8.      bstart = b.iloc[i].start
   
9.      bend = b.iloc[i].end
   
10.      bid = b.iloc[i].id
    
11.      xx = a[a.id==bid]
    
12.      flag = False
    
13.      for j in range(xx.shape[0]):
    
14.          if xx.iloc[j].end >= bend and xx.iloc[j].start <= bstart:
    
15.              flag = True
    
16.      if flag == True:
    
17.          x.append(False)
    
18.      else:
    
19.          x.append(True)
    
20. 
    
21. b[x].to_csv('x.csv',sep=' ',index=None,header=None)

复制代码