awk 多个文件列合并 求高效脚本

bjsfeng

文本1 a.txt
1 456798
2 456764
3 489743
5 136633

文本2 b.txt
1 1233
3 1324
4 1234

文本3 c.txt
1 1343
2 1343
3 1324
………………共六个txt

合并后效果如下

1        456798        1233        1343        ……
2        456764        0        1343        ……
3        489743        1324        1324        ……
4        0        1234        0        ……
5        136633        0        0        ……

bjsfeng

PS。TAB怎么整到帖子里

hujysh

awk '{a[$1]=a[$1]" "$2}END{for (i in a) printf("%s %s\n",i,a[i])}' f1 f2 f3 f4 f5 f6|sort

finechore

其中的0，怎么加进去呀～～，不知了

bjsfeng

其中的0，怎么加进去呀～～，不知了
finechore 发表于 2010-12-17 11:17

    我也在这地方犯难呢.... 现在想cat 出一个全部的$1的列表 然后把f1 f2 f3 f3 f5 f6补零 再awk到一起 但是文件都比较长 补零基本上要算一天

ly5066113

回复 1# bjsfeng


一个问题，如果文本是这样的：
文本1 a.txt
1 456798
3 489743
5 136633

文本2 b.txt
1 1233
3 1324
4 1234

文本3 c.txt
1 1343
3 1324
………………共六个txt

就是所有的文件中都没有2，那么合并后2是不存在还是要都填0 ？

1        456798        1233        1343        ……
2        0        0        0       0        0        0
3        489743        1324        1324        ……
4        0        1234        0        ……
5        136633        0        0        ……

jason680

我也在这地方犯难呢.... 现在想cat 出一个全部的$1的列表 然后把f1 f2 f3 f3 f5 f6补零 再awk到一 ...
bjsfeng 发表于 2010-12-17 11:19

嗯要一天.....

試試這個吧

file: item_combine.pl

1. 
   
2. use strict;
   
3. 
   
4. my @aItem=(["item"]);
   
5. my $sCnt=0;
   
6. my $sMax_item=0;
   
7. 
   
8. sub get_data{
   
9.   my ($sFile, $sCnt) = @_;
   
10.   open(FHin, "<" , $sFile) or die "can't open $sFile\n";
    
11.   while(<FHin>){
    
12.     my($sItem, $sNum, $sX) = split;
    
13.     if($sX){
    
14.       print "got some error: $_";
    
15.     }
    
16.     $aItem[$sItem]->[$sCnt] = $sNum;
    
17.     $sMax_item = $sItem if($sItem > $sMax_item);
    
18.   }  
    
19.   close FHin;
    
20. }
    
21. 
    
22. foreach(@ARGV){
    
23.   $sCnt++;
    
24.   $aItem[0]->[$sCnt] = $_;
    
25.   get_data($_,$sCnt);
    
26. }
    
27. 
    
28. printf("%4s ", $aItem[0]->[0]);
    
29. printf("%10s ",$_) foreach(@{$aItem[0]}[1..$sCnt]);
    
30. print "\n";
    
31. foreach my $sItem (1 .. $sMax_item){
    
32.   printf("%-4d ",$sItem);
    
33.   foreach (1 .. $sCnt){
    
34.     printf("%10d ", $aItem[$sItem]->[$_]);
    
35.   }
    
36.   print "\n"
    
37. }

复制代码

perl item_combine.pl a.txt b.txt c.txt

item      a.txt      b.txt      c.txt
1      11456798     211233     311343
2      12456764          0     321343
3      13489743     231324     331324
4             0     241234          0
5      15136633          0          0

(注:内容有改过)

bjsfeng

回复  bjsfeng


一个问题，如果文本是这样的：
文本1 a.txt
1 456798
3 489743
5 136633

文本2 ...
ly5066113 发表于 2010-12-17 12:18

按需求应该是为不存在~

当然 如果全0的话 也可以以后剔除掉

ly5066113

回复 8# bjsfeng

1. $ cat a.txt
   
2. 1 456798
   
3. 2 456764
   
4. 3 489743
   
5. 5 136633
   
6. $ cat b.txt
   
7. 1 1233
   
8. 3 1324
   
9. 4 1234
   
10. $ cat c.txt
    
11. 1 1343
    
12. 2 1343
    
13. 3 1324
    
14. $ awk 'FNR==1{n++}{m=m>$1?m:$1;a[$1","n]=$2}END{for(i=1;i<=m;i++){printf i;for(j=1;j<=n;j++) printf "%8s",a[i","j]?a[i","j]:0;print ""}}' [abc].txt
    
15. 1  456798    1233    1343
    
16. 2  456764       0    1343
    
17. 3  489743    1324    1324
    
18. 4       0    1234       0
    
19. 5  136633       0       0

复制代码

如果第一列有不连续的，这段代码会出现都为0的情况。
手头没有Linux环境，如果是GNU awk的话，可以多用一个数组来记录第一列，然后在END中用asort函数来排序，这样就不会有都为0的情况了。

cjaizss

这个可以吗?
awk 'BEGIN{last=0}last!=ARGIND{last=ARGIND;for(i in a)a=a"\t"0;}
NF==2{x=strtonum($1);y=$2;if(x in a){$0=a[x];$NF=y;a[x]=$0;}else{for(i=1;i<ARGIND;i++)a[x]=a[x]"0\t";a[x]=a[x]""y;}}
END{for(i in a)b=i;count=asort(b);for(i=1;i<=count;i++)print b,a[b]}' a.txt b.txt c.txt
哦,有问题,等下我再改