【求助】实现复杂一点的comm功能

ywlscpl

又仔细看了一下楼主的说明，确实如Tim所说，是需要排序的，而且两文件应该不是行行对应的关系
写了个脚本，能实现功能，但效率可能不高

1. #!/bin/bash
   
2. file1=file1
   
3. file2=file2
   
4. #生成排序表
   
5. awk '{a[$1" "$2]++;b[$1" "$2" "FILENAME]}END{for (i in a) if (a[i]==1) {for (j in b) if (j~"^"i" ") {print j;break}}else print i}' $file1 $file2 | sort -k1,1 -k2,2n >order
   
6. while read line
   
7. do
   
8.   echo $line | awk -v f1="$file1" -v f2="$file2" '$3==f1{f="F1"}$3==f2{f="F2"}$3{while (getline v< $3) if (v~"^"$1" +"$2" +") {print f,v;exit}next}{while (getline v <f1) if (v~"^"$1" +"$2" +") {printf "F1 "v"\t";break}while (getline v <f2) if (v~"^"$1" +"$2" +") {print "F2",v;exit}}'
   
9. done<order

复制代码

测试用数据如下

1. [root@Mylinux tmp]# cat file1
   
2. A  4  name3-1  name9-1
   
3. A  5  name7-1  name6-1
   
4. A  6  name7-1  name6-1
   
5. A  7  name7-1  name6-1
   
6. B  1  name1-1  name2-1
   
7. B  4  name3-1  name9-1
   
8. B  5  name7-1  name6-1
   
9. B  6  name7-1  name6-1
   
10. B  7  name7-1  name6-1
    
11. C  3  name7-1  name6-1
    
12. [root@Mylinux tmp]# cat file2
    
13. A  1  name1-2  name2-2
    
14. A  3  name3-2  name9-2
    
15. A  5  name7-2  name6-2
    
16. B  1  name1-2  name2-2
    
17. B  3  name3-2  name9-2
    
18. B  5  name7-2  name6-2
    
19. C  5  name7-2  name6-2
    
20. D  1  name7-2  name6-2

复制代码

最后结果

1. [root@Mylinux tmp]# ./mysh
   
2. F2 A  1  name1-2  name2-2
   
3. F2 A  3  name3-2  name9-2
   
4. F1 A  4  name3-1  name9-1
   
5. F1 A  5  name7-1  name6-1       F2 A  5  name7-2  name6-2
   
6. F1 A  6  name7-1  name6-1
   
7. F1 A  7  name7-1  name6-1
   
8. F1 B  1  name1-1  name2-1       F2 B  1  name1-2  name2-2
   
9. F2 B  3  name3-2  name9-2
   
10. F1 B  4  name3-1  name9-1
    
11. F1 B  5  name7-1  name6-1       F2 B  5  name7-2  name6-2
    
12. F1 B  6  name7-1  name6-1
    
13. F1 B  7  name7-1  name6-1
    
14. F1 C  3  name7-1  name6-1
    
15. F2 C  5  name7-2  name6-2
    
16. F2 D  1  name7-2  name6-2

复制代码

ly5066113

重新排序有些浪费了，file1 file2 都是排好序的。
只用awk也是可以做的：

1. $ awk -f test.awk file1
   
2. F2 A  1  name1-2  name2-2
   
3. F2 A  3  name3-2  name9-2
   
4. F1 A  4  name3-1  name9-1
   
5. F1 A  5  name7-1  name6-1 F2 A  5  name7-2  name6-2
   
6. F1 A  6  name7-1  name6-1
   
7. F1 A  7  name7-1  name6-1
   
8. F1 B  1  name1-1  name2-1 F2 B  1  name1-2  name2-2
   
9. F2 B  3  name3-2  name9-2
   
10. F1 B  4  name3-1  name9-1
    
11. F1 B  5  name7-1  name6-1 F2 B  5  name7-2  name6-2
    
12. F1 B  6  name7-1  name6-1
    
13. F1 B  7  name7-1  name6-1
    
14. F1 C  3  name7-1  name6-1
    
15. F2 C  5  name7-2  name6-2
    
16. F2 D  1  name7-2  name6-2
    
17. $ cat test.awk
    
18. #! /usr/bin/awk -f
    
19. 
    
20. {
    
21.         getline var <"file2"
    
22.         split(var ,a ,/[[:blank:]]+/)
    
23.         while(1)
    
24.         {
    
25.                 if($1 == a[1] && $2 == a[2])
    
26.                 {
    
27.                         print "F1 "$0" F2 "var
    
28.                         next
    
29.                 }
    
30.                 else
    
31.                 {
    
32.                         if(($1 == a[1] && $2 < a[2]) || $1 < a[1])
    
33.                         {
    
34.                                 print "F1 "$0
    
35.                                 if(!(getline))
    
36.                                 {
    
37.                                         do
    
38.                                         {
    
39.                                                 print "F2 "var
    
40.                                         }
    
41.                                         while(getline var <"file2")
    
42.                                         exit
    
43.                                 }
    
44.                         }
    
45.                         else
    
46.                         {
    
47.                                 print "F2 "var
    
48.                                 if(getline var <"file2")
    
49.                                 {
    
50.                                         split(var ,a ,/[[:blank:]]+/)
    
51.                                 }
    
52.                                 else
    
53.                                 {
    
54.                                         do
    
55.                                         {
    
56.                                                 print "F1 "$0
    
57.                                         }
    
58.                                         while(getline)
    
59.                                         exit
    
60.                                 }
    
61.                         }
    
62.                 }
    
63.         }
    
64. }

复制代码

[ 本帖最后由 ly5066113 于 2009-11-25 14:34 编辑 ]

wanggd1983

原帖由 ywlscpl 于 2009-11-24 14:44 发表
awk 'NR==FNR{a[$1" "$2]=$0}NR>FNR{b[$1" "$2]=$0}END{for (i in a) print "F1",a(i in b?"\tF2 "b:"");for (i in b) if (!(i in a)) print "F2",b}' file1 file2  

这个命令可以实现合并，但是合并后顺序就乱掉了，如果加个sort，倒是恢复了原来的顺序。

awk 'NR==FNR{a[$1" "$2]=$0}NR>FNR{b[$1" "$2]=$0}END{for (i in a) print "F1",a(i in b?"\tF2 "b:"");for (i in b) if (!(i in a)) print "F2",b}' file1 file2 | sort -k1,1 -k2,2n >order

重排序是想全力避免的，文件太大，几百G，如果重新排序，太浪费资源

[ 本帖最后由 wanggd1983 于 2009-11-25 14:41 编辑 ]

wanggd1983

原帖由 ly5066113 于 2009-11-25 14:33 发表
重新排序有些浪费了，file1 file2 都是排好序的。
只用awk也是可以做的：

$ awk -f test.awk file1
F2 A  1  name1-2  name2-2
F2 A  3  name3-2  name9-2
F1 A  4  name3-1  name9-1
F1 A  5  name7-1 ...

没有看懂，直接运行也出错，如下：
line 5: syntax error near unexpected token `var'
line 5: `        split(var ,a ,/[[:blank:]]+/)'

还望大虾赐教：）

ywlscpl

学习了

ly5066113

如何运行的？

wanggd1983

原帖由 ly5066113 于 2009-11-25 15:04 发表
如何运行的？

贴到一个脚本里，然后qsub

额，是不是有问题？