[已解决]批量查找字符串并导出结果到新的文本

smile1129

新学perl，请大家指点！

要求是：
某文件夹下有众多大文本文件，我要查找含特定字符串1、字符串2等的行，将上述行导出到新建文本，1个字符串的搜索结果建1个文本(文件名就是该字符串)，有多少个字符串就建多少个文本，字符串包含在2.txt文档中，一行1个。

比如：E:\TEXT 下有a.txt  b.txt  c.txt 等，  
我要查找的字符串在2.txt中，字符串如下：
beijing
shanghai
wuhan
等；
我希望在E:\TEXT 目录下文本中分别查找含有上述字符串的行，输出结果为beijing.txt    shanghai.txt  wuhan.txt



以下是查找1个字符串导出到文本的方法，仅供参考！ 请大家帮忙修改使之达到上面的要求，谢谢大家！

1. #!/usr/bin/perl -w
   
2. open OUT1,'+>E:/3.txt';
   
3. printf"write the path you want to search files:";
   
4. $searchdir=<STDIN>;
   
5. chomp $searchdir;
   
6. printf "Input search string:";
   
7. $searchstr=<STDIN>;
   
8. chomp $searchstr;
   
9. opendir(DIRHANDLE,$searchdir) || die "Cann't open $searchdir !";
   
10. while($file=readdir DIRHANDLE) {
    
11.         if (-d "$searchdir/$file") {
    
12.                 printf "$searchdir/$file is a directory! ";
    
13.         } else {
    
14.                 open(FileHandle, "$searchdir/$file") || die "cann't open $searchdir/$file ! ";
    
15.                 $lines=1;
    
16.                 while (defined($line=<FileHandle>)) {
    
17.                         $back=index($line,$searchstr);
    
18.                         if ( $back != -1 ) {
    
19.                                 print OUT1 "$line";
    
20.                         }
    
21.                 $lines=$lines+1;
    
22.                 }
    
23.         }
    
24.         close(FileHandle);
    
25. }
    
26. close(OUT1);
    
27. closedir(DIRHANDLE);

复制代码

sunzhiguolu

回复 1# smile1129
试下,

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. chdir ('urPath');
   
6. open (my $fhR, '<', '2.txt');
   
7. my %hData = map {chomp; $_, []} <$fhR>;
   
8. close ($fhR);
   
9. 
   
10. foreach my $fn (glob ('*.txt')){
    
11.         next if ($fn eq '2.txt');
    
12.         open ($fhR, '<', $fn);
    
13.         while (defined (local $_ = <$fhR>)){
    
14.                 foreach my $k (keys %hData){
    
15.                         push(@{$hData{$k}}, $_) if (/$k/);       
    
16.                 }
    
17.         }
    
18.         close ($fhR);
    
19. }
    
20. 
    
21. foreach (keys %hData){
    
22.         open (my $fhW, '>', "$_.txt");
    
23.         print $fhW @{$hData{$_}};
    
24.         close ($fhW);
    
25. }

复制代码

stanley_tam

改一波，建议用use strict; 啦

1. #!/usr/bin/perl -w
   
2. # open OUT1,'+>E:/3.txt';
   
3. 
   
4. 
   
5. printf"write the path you want to search files:";
   
6. $searchdir=<STDIN>;
   
7. chomp $searchdir;
   
8. printf "Input search string, one per line, end with a single '.' :\n";
   
9. $searchstr = +{};
   
10. while ($line  = <STDIN>) {
    
11.         $line =~ s{^\s+ | \s+$}{}gmix;
    
12.         next if not $line;
    
13.         last if $line eq '.';
    
14.         $searchstr->{$line} = 1
    
15. }
    
16. 
    
17. # $searchstr=<STDIN>;
    
18. # chomp $searchstr;
    
19. opendir(DIRHANDLE,$searchdir) || die "Cann't open $searchdir !";
    
20. while($file=readdir DIRHANDLE) {
    
21.         if (-d "$searchdir/$file") {
    
22.                 printf "$searchdir/$file is a directory! \n";
    
23.         } else {
    
24.                 open(FileHandle, "$searchdir/$file") || die "cann't open $searchdir/$file ! ";
    
25.                 # $lines=1;
    
26.                 while (defined($line=<FileHandle>)) {
    
27.                         $line =~ s{^\s+ | \s+$}{}gmix;
    
28.                         next if not $line;
    
29.                         if (exists $searchstr->{$line}) {
    
30.                                 $file = "$line.txt";
    
31.                                 if (-f $file) {
    
32.                                         print "Found [$line], file [$file] alreay created, no need to create again.\n";
    
33.                                 }
    
34.                                 else {
    
35.                                         open OUT1, ">$file";
    
36.                                         close(OUT1);
    
37.                                         print "Found [$line], file [$file] created.\n";
    
38.                                 }
    
39. 
    
40.                         }
    
41.                         # $back=index($line,$searchstr);
    
42.                         # if ( $back != -1 ) {
    
43.                         #         # print OUT1 "$line";
    
44.                         # }
    
45.                 # $lines=$lines+1;
    
46.                 }
    
47.                 close(FileHandle);
    
48.         }
    
49.         # close(FileHandle);
    
50. }
    
51. # close(OUT1);
    
52. closedir(DIRHANDLE);

复制代码

output sample:

1. write the path you want to search files:TEXT
   
2. Input search string, one per line, end with a single '.' :
   
3. beijing
   
4. wuhan
   
5. .
   
6. TEXT/. is a directory!
   
7. TEXT/.. is a directory!
   
8. Found [wuhan], file [wuhan.txt] created.
   
9. Found [beijing], file [beijing.txt] created.
   
10. Found [wuhan], file [wuhan.txt] alreay created, no need to create again.

复制代码

smile1129

sunzhiguolu 发表于 2016-07-02 02:27
回复 1# smile1129
试下,

很厉害！  谢谢！


想再请教下，如何才能 不区分大小写呢？ 以及把所有结果输出到1个文件3.txt中(即不分为多个文件输出了) ？

sunzhiguolu

1.> 不区分大小写

push(@{$hData{$k}}, $_) if (/$k/i);

2.> 以及把所有结果输出到1个文件3.txt中(即不分为多个文件输出了)

1. 
   
2. my $str;
   
3. $str .= join ("", @{$hData{$_}) for keys %hData;
   
4. #print $str to your FileHandle.
   

复制代码

smile1129

stanley_tam 发表于 2016-07-02 08:46
改一波，建议用use strict; 啦output sample:

谢谢，不过有个问题：

比如E:\TEXT 下有a.txt 中以下内容
beijing:010
......

查找beijing找不到，只能找到完全为beijing的行，这个有问题。

smile1129

sunzhiguolu 发表于 2016-07-02 10:26
1.> 不区分大小写

非常感谢您的指点，很受用！

有个疑问，我在1楼贴的查找1个字符串的代码（别的地方找的），在查找200MB文件时，我的电脑用时大概6s, 而使用你的代码大概10s。

所以想请问下，如果要追求速度的话（因为有的文本更大），您推荐怎么修改？   O(∩_∩)O谢谢

sunzhiguolu

回复 7# smile1129
你的需求到底是啥?

   

smile1129

sunzhiguolu 发表于 2016-07-02 17:41
回复 7# smile1129
你的需求到底是啥?

不好意思。
考虑到大文本处理速度很重要，想修改为：将结果导出到1个指定文件即可，另外多个字符串是否采用正则的形式会快一些，比如beijing|shanghai|wuhan，不区分大小写。

还有就是我上面说的单个字符串搜索的时候，针对大文本，我上面的代码似乎速度稍微快点点，但是我上面贴的不支持正则，你的可以写成beijing|shanghai|wuhan。

sunzhiguolu

回复 9# smile1129
再试下, 在保证正确的前提下, 将代码的测试结果贴出来看下. (文件大小, 执行时间等)

1. 
   
2. #!/usr/bin/perl
   
3. use strict;
   
4. use warnings;
   
5. 
   
6. chdir ('urPath');
   
7. open (my $fhR, '<', '2.txt');
   
8. my $regex = join ("|", map {s/\r?\n//r} <$fhR>);
   
9. close ($fhR);
   
10. 
    
11. my @aData;
    
12. foreach my $fn (glob ('*.txt')){
    
13.         next if ($fn eq '2.txt');
    
14.         open ($fhR, '<', $fn);
    
15.         while (defined (local $_ = <$fhR>)){
    
16.             push (@aData, $_) if (/$regex/);        
    
17.         }
    
18.         close ($fhR);
    
19. }
    
20. 
    
21. #print @aData to your FileHandle.
    

复制代码