求助；把两个txt文本前6列数字完全相同的行合并后另存？[已解决]

hkldd

  在工作中经常要服务器日志文档中，有相同mac地址的端口与岀现的时间顺序，我想把它们合并后另存方便分析，谢谢大家！

如以下示例；
      对比a.txt文本与b.txt文本，把前6列数字完全相同的行合并后，另存为c.txt文本文件的样式。
a.txt
1d 2c 03 f4 05 6a 55
3c 07 5e 09 1f 1b 45
11 1f 13 4d 15 6c 36
17 8d 19 2c 21 7b 30
23 2c 5b 26 27 8f 3
22 33 44 55 66 77 18
55 66 69 70 71 72 16
26 27 28 29 33 34 13

b.txt
1d 2c 03 f4 05 6a 2015001
3c 07 5e 09 1f 1b 2015002
11 1f 13 4d 15 6c 2015003
17 8d 19 2c 21 7b 2015004
23 2c 5b 26 27 8f 2015005
29 30 31 32 33 36 2015006
01 02 04 05 07 09 2015007

c.txt
1d 2c 03 f4 05 6a 55 2015001
3c 07 5e 09 1f 1b 45 2015002
11 1f 13 4d 15 6c 36 2015003
17 8d 19 2c 21 7b 30 2015004
23 2c 5b 26 27 8f 3  2015005

pony2001mx

见如下脚本（用法是perl program.pl file1 file2），希望有帮助。

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. use IO::File;
   
5. 
   
6. my $hash1_href = read_file($ARGV[0]);
   
7. my $hash2_href = read_file($ARGV[1]);
   
8. 
   
9. for my $k (keys %{$hash1_href}) {
   
10.         if (exists $hash2_href->{$k}) {
    
11.                 print "$k $hash1_href->{$k} $hash2_href->{$k}\n";
    
12.         }
    
13. }
    
14. 
    
15. sub read_file {
    
16.         my $file = shift;
    
17.         my %hash;
    
18.         my $fh = IO::File->new ($file, 'r');
    
19.         while (<$fh>) {
    
20.         s/\r//; s/^\s*$//;
    
21.                 chomp;
    
22.                 my @arr = split /\s+/, $_, 7;
    
23.                 my $first = join " ", @arr[0..5];
    
24.                 $hash{$first} = $arr[6];
    
25.         }
    
26.         return \%hash;
    
27. }

复制代码

hkldd

谢谢你pony2001mx大牛人  
  经测试通过，大日志文本处理效率也可以，真心谢谢你帮我解决了大问题，还有一个小请求就是屏幕打印结果，要是能按时间顺序排序一下就更完美了！谢谢！

pony2001mx

其实我不是牛人，这里牛人很多，我觉得代码可以写的再短。
请见以下脚本。

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. use IO::File;
   
5. 
   
6. my $hash1_href = read_file($ARGV[0]);
   
7. my $hash2_href = read_file($ARGV[1]);
   
8. 
   
9. for my $k (sort { $hash2_href->{$a} <=> $hash2_href->{$b} } keys %{$hash2_href}) {
   
10.         if (exists $hash1_href->{$k}) {
    
11.                 print "$k $hash1_href->{$k} $hash2_href->{$k}\n";
    
12.         }
    
13. }
    
14. 
    
15. sub read_file {
    
16.         my $file = shift;
    
17.         my %hash;
    
18.         my $fh = IO::File->new ($file, 'r');
    
19.         while (<$fh>) {
    
20.         s/\r//;        s/^\s*$//;
    
21.                 chomp;
    
22.                 my @arr = split /\s+/, $_, 7;
    
23.                 my $first = join " ", @arr[0..5];
    
24.                 $hash{$first} = $arr[6];
    
25.         }
    
26.         return \%hash;
    
27. }

复制代码

hkldd

我还在啃perl，对我来说你就是牛人，谢谢你！

biofine

新手求教下~请问脚本1和脚本2之间的区别在哪里？
@pony2001mx

reb00t

1. awk 'NR==FNR{t=$NF;NF--;a[$0]=t}NR>FNR{t=$NF;NF--;if($0 in a) print $0,a[$0],t}' a b
   
2. 1d 2c 03 f4 05 6a 55 2015001
   
3. 3c 07 5e 09 1f 1b 45 2015002
   
4. 11 1f 13 4d 15 6c 36 2015003
   
5. 17 8d 19 2c 21 7b 30 2015004
   
6. 23 2c 5b 26 27 8f 3 2015005

复制代码

reyleon

1. awk 'NR==FNR{t=$0;NF=6;a[$0]=t;next}{w=$NF;NF=6;if($0 in a)print a[$0],w}' a.txt b.txt

复制代码

pony2001mx

主要区别是按照时间排序（sort { $hash2_href->{$a} <=> $hash2_href->{$b}语句）。我看到awk命令很强大。
回复 6# biofine


   

biofine

嗯。确实强大。谢谢~回复 9# pony2001mx