求助：如何提取两个文本中相同的行，存入另一个新文本。

apkood

      网上翻，论坛找，都未找到多文本提取相同行的例子，好像全世界都很讨厌重复行，要删除它都是些去重复的例子，郁闷！正在啃perl 5，希望各位大侠指点下，写个提取两个文本中相同的行，存入另一个新文本的代码的示例，帮助新手学习，能注释一下就更完美了，谢谢大家啦！

我需要的示例要求如下：

   提取1.txt与2.txt中相同行保存为3.txt

文本文件；1.txt(需要查重的文件)
01 02 03 04 05 06
02 03 04 05 06 07
15 19 22 24 27 28 33 36
01 09 14 15 19 23


文本文件；2.txt(内容比较多的文件)
01 02 03 04 05 06
02 03 04 05 06 07
05 06 07 08 09 10 11
03 04 05 06 07 08
05 07 09 11 13 14 15
08 10 14 15 17 22 23 25
11 12 16 18 19 41
22 24 29 34 37 39

文本文件；3.txt (需要的结果)
01 02 03 04 05 06
02 03 04 05 06 07

jun413947139

看看这样吧， 核心只有一句 grep {   grep {} ....  } ... 的判断

1. #! /usr/bin/perl
   
2. 
   
3. use strict;
   
4. use warnings;
   
5. 
   
6. my $src_lines_1_ref = get_lines_from_file('1.txt');
   
7. my $src_lines_2_ref = get_lines_from_file('2.txt');
   
8. my @dst_lines = grep {
   
9.     my $line = $_;                                             
   
10.     grep $_ eq $line, @$src_lines_1_ref;
    
11. } @$src_lines_2_ref;
    
12. write_lines_to_file('3.txt', \@dst_lines);
    
13. 
    
14. sub get_lines_from_file {
    
15.     my $file = shift || "";
    
16.     my @lines;
    
17.     open my $FILE, "<$file" or die "Cannot open $file: $!";
    
18.     while (<$FILE>) {
    
19.         chomp;      
    
20.         next if /^\s*$/ #删除空行
    
21.         s/^\s*//;           # 注释掉行头的空格
    
22.         s/\s*$//;           # 注释掉行尾的空格
    
23.         push @lines, $_;
    
24.     }
    
25.     close $FILE;
    
26.     return \@lines;
    
27. }
    
28. 
    
29. sub write_lines_to_file {
    
30.     my $file = shift || "";
    
31.     my $lines_ref = shift || "";
    
32.     open my $FILE, ">$file" or die "Cannot open $file: $!";
    
33.     for (@$lines_ref) {
    
34.         print $FILE $_."\n";
    
35.     }
    
36.     close $FILE;
    
37. }

复制代码

dqw233

1. #!/usr/bin perl
   
2. use v5.14;
   
3. use warnings;
   
4. use autodie;
   
5. 
   
6. open(my $a_fd, '<', 'a.txt');
   
7. open(my $b_fd, '<', 'b.txt');
   
8. 
   
9. #output file
   
10. open(my $c_fd, '>', 'c.txt');
    
11. my %lines_in_a;
    
12. 
    
13. while (<$a_fd>) {
    
14.     chomp;
    
15.     #将a文件中的所有行加入map中
    
16.     $lines_in_a{$_} = 1;
    
17. }
    
18. 
    
19. while (<$b_fd>) {
    
20.     chomp;
    
21.     #如果发现b.txt中有行与a.txt中相同则认为重复，并输入到c.txt中
    
22.     if (exists($lines_in_a{$_})) {
    
23.         say {$c_fd} $_;
    
24.     }
    
25. }
    
26. 
    
27. close $a_fd;
    
28. close $b_fd;
    
29. close $c_fd;

复制代码

kk861123

我一般的方法都是使用两个hash来解决此类问题，供大家参考一下：
定义两个hash:%m 和 %n，核心代码就是$m{$_}++ and $n{$_}++

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. use Data::Dumper;
   
5. 
   
6. my @array1 = split /\n/, <<FILE1;
   
7. 01 02 03 04 05 06
   
8. 02 03 04 05 06 07
   
9. 15 19 22 24 27 28 33 36
   
10. 01 09 14 15 19 23
    
11. FILE1
    
12. 
    
13. my @array2 = split /\n/, <<FILE2;
    
14. 01 02 03 04 05 06
    
15. 02 03 04 05 06 07
    
16. 05 06 07 08 09 10 11
    
17. 03 04 05 06 07 08
    
18. 05 07 09 11 13 14 15
    
19. 08 10 14 15 17 22 23 25
    
20. 11 12 16 18 19 41
    
21. 22 24 29 34 37 39
    
22. FILE2
    
23. 
    
24. my (%m, %n);
    
25. foreach ( @array1, @array2 ) {
    
26.     $m{$_}++ and $n{$_}++;
    
27. }
    
28. 
    
29. print Dumper \%m;
    
30. print Dumper \%n;

复制代码

结果如下：

1. $VAR1 = {
   
2.           '03 04 05 06 07 08' => 1,
   
3.           '05 07 09 11 13 14 15' => 1,
   
4.           '15 19 22 24 27 28 33 36' => 1,
   
5.           '05 06 07 08 09 10 11' => 1,
   
6.           '11 12 16 18 19 41' => 1,
   
7.           '22 24 29 34 37 39' => 1,
   
8.           '01 02 03 04 05 06 ' => 2,
   
9.           '02 03 04 05 06 07' => 2,
   
10.           '08 10 14 15 17 22 23 25' => 1,
    
11.           '01 09 14 15 19 23' => 1
    
12.         };
    
13. $VAR1 = {
    
14.           '01 02 03 04 05 06 ' => 1,
    
15.           '02 03 04 05 06 07' => 1
    
16.         };

复制代码

分析两个hash的结果值可以逐个推出实际需要的重复还是非重复数据：
1> 求两个数组中的重复项，可以直接是用%n取键值获得，或通过对%m的键值grep

1. # intersection
   
2. print "\nMethod1:\n";
   
3. print "$_\n" for keys %n;
   
4. print "\nMethod2:\n";
   
5. print "$_\n" for grep { $m{$_} >= 2 } keys %m;

复制代码

结果如下：
Intersection1:
01 02 03 04 05 06
02 03 04 05 06 07

Intersection2:
01 02 03 04 05 06
02 03 04 05 06 07

2> 对两个数组去重，取%m的键值即可

1. # union
   
2. print "\nUnion:\n";
   
3. print "$_\n" for keys %m;
   

复制代码

结果如下：
Union:
03 04 05 06 07 08
05 07 09 11 13 14 15
15 19 22 24 27 28 33 36
05 06 07 08 09 10 11
11 12 16 18 19 41
22 24 29 34 37 39
01 02 03 04 05 06
02 03 04 05 06 07
08 10 14 15 17 22 23 25
01 09 14 15 19 23
3> 求两个数组之间不同的项，是用grep对%m的键值操作

1. # non-uniq
   
2. print "\nNon-uniq:\n";
   
3. print "$_\n" for grep { $m{$_} == 1 } keys %m;

复制代码

结果：
Non-uniq:
03 04 05 06 07 08
05 07 09 11 13 14 15
15 19 22 24 27 28 33 36
05 06 07 08 09 10 11
11 12 16 18 19 41
22 24 29 34 37 39
08 10 14 15 17 22 23 25
01 09 14 15 19 23

使用hash去重是效率很高的方法，但是缺点是无法保持数组中数据原来的顺序。

longbow0

comm -12 1.txt 2.txt > 3.txt

不过只能用于sorted文件

blackfur

#!/usr/bin/perl
use strict;
use warnings;

my ($line,$l2);
my $i=1;
my $j=1;
open FILE,"<t.txt" or die "Can't open t: $!\n";
open F2,"<2.txt" or die "Can't open 2: $!\n";
open f3,">3.txt" or die "can not write 3: $!\n";
while ($line=<FILE>) {
        print "t.txt: ",$j++,"\n";
        chomp $line;
        while (defined($l2=<F2>)) {
                chomp $l2;
                    if ( $line eq $l2 ) { print f3 $line,"\n"}
                        print "2.txt: ",$i++,"\n";
        }
        seek F2,0,0;
        $i=1;
}
close FILE;
close F2;
close f3;

zhaodelu1

diff 1.txt 2.txt | awk '/^</{print}' |sed 's/< //' > 3.txt
diff 1.txt 3.txt | awk '/^</{print}' | sed 's/< //'

kernel69

try

1. perl -ane 'print if(++$a{$_}>=2)'  1 2

复制代码

回复 1# apkood