论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2017-03-22 16:51 |只看该作者 |倒序浏览

各位大侠，我现在有一个问题亟待解决：
我有一个文件A，里面是一千多个名字，名字是不规则的，里面会有括号、下划线、空格等各种符号；
另外一个文件B，里面的名字更多，而且会有重复。
我现在需要将B中包含A的名字并且名字后面含有INN的全部提取出来。
例如，A里有一个叫做Captopril，那么B中有好多包含这个名字的，我只要取出下面B文件里面的2到4行（Captopril前面是起始^，后面有空格接一个小括号或中括号，里面一定有INN这个字符的）。

(-)-Captopril

Captopril (JP15/USP/INN)

Captopril (JP16/USP/INN)

Captopril [USAN:INN:BAN:JAN]

Captopril [USAN:USP:INN:BAN:JAN]

Captoprilum [INN-Latin]

L-Captopril

D-Captopril

Captopril-D7

Captopril-d3

我自己写了一个程序，但是因为B文件有将近10个G，跑起来特别得慢，不过我还是抛砖引玉放出来，希望有大神教教我怎么解决这个问题更有效率，非常感谢！

use warnings;
use diagnostics;
use strict;
my $input1="A.txt"; ###读进文件A
my %hash;
my $i;
my @input1=split("\n",`cat $input1`);
map{$hash{$_}=1}@input1;
my $input="B.txt"; ###读进文件B
open I, $input or die $!;
open O, ">test.txt" or die $!;
while(<I>){
chomp;
my $alias =$_;
foreach my $key (%hash){
if ($alias=~/^\Q$key\E\s\[.*INN.*\]$|^\Q$key\E\s$.*INN.*$$/i){ ### 对于文件B的每一行，都循环一次文件A的所有药名，匹配上则输出。
print O "$alias\n";
$i++;
}
}
}
print "$i\n";
close I;
close O;

复制代码

表达式, 如何

文库|博客

sunzhiguolu

巨富豪门

论坛徽章:: 307

2楼 [报告]

发表于 2017-03-22 17:17 |只看该作者

本帖最后由 sunzhiguolu 于 2017-03-22 17:22 编辑

1.> A 文件有多大?

代码中有个地方不是很明白:

foreach my $key (%hash){
#...
}

复制代码

能否解释下?

(-)-Captopril
Captopril (JP15/USP/INN)
Captopril (JP16/USP/INN)
Captopril [USAN:INN:BAN:JAN]
Captopril [USAN:USP:INN:BAN:JAN]
Captoprilum [INN-Latin]
L-Captopril
D-Captopril
Captopril-D7
Captopril-d3

以上这部分内容, 来自哪个文件? B 文件的文件结构怎样?
如果方便的话, 能否将 A, B 两个文件中具有代表性的数据示例贴出一小部分并将所需结果贴出来, 方便观察些。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

sunzhiguolu

巨富豪门

论坛徽章:: 307

3楼 [报告]

发表于 2017-03-22 18:19 |只看该作者

如果单纯从代码的角度看你写的代码，效能瓶颈来自哪里你应该最清楚了。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

jason680

富可敌国

论坛徽章:: 145

4楼 [报告]

发表于 2017-03-22 20:56 |只看该作者

回复 1# wx2wx

$ ./get_INN.pl
Usage  : ./get_INN.pl KEY_FILE INN_FILE
Example: ./get_INN.pl A.txt B.txt

$ ./get_INN.pl A.txt B.txt
Output file: test.txt
Total item: 4

$ cat get_INN.pl
#! /usr/bin/perl

use strict;
use warnings;

sub message{
  print <<EOF;
Usage  : $0 KEY_FILE INN_FILE
Example: $0 A.txt B.txt
EOF
  exit 1;
}

message() if @ARGV != 2;

my $sFout = "test.txt";

my %hKey;
my $sCnt = 0;

my($sFkey, $sFinn)  = @ARGV;

open(my $FHkey, "<", $sFkey) or die "cannot open $sFkey file\n";
open(my $FHinn, "<", $sFinn) or die "cannot open $sFinn file\n";
open(my $FHout, ">", $sFout) or die "cannot oepn $sFout file\n";

print "Output file: $sFout\n";

while(<$FHkey>){
  s/^\s+|\s+$//g;
  next if(m/^(#|$)/);
  $hKey{$_} = 1;
}

while(<$FHinn>){
  my $sLine = $_;
  s/^\s+|\s+$//g;
  next if(m/^(#|$)/);
  next if(! m/\bINN\b/);
  my($sKey) = split;
  if(exists $hKey{$sKey}){
++$sCnt;
print {$FHout} $sLine;
  }
}
print "Total item: $sCnt\n";