求在当前目录多个文本文件中取出包含单词列表文件中各单词的前后行

blackantt

求在当前目录(为了可扩，能散放在子目录下最好)  的多个文本文件中  取出包含  单词列表文件newword.txt   中各单词的前后2句(或者n句)作为1行,然后写入ok.txt,格式为:   关键词 |  取到的内容    | 源文件名  .(内容里的关键词用[ 关键词 ] 标识)

当前文件目录有若干文本文件,每个里都是英语文章。(大小写交杂的，有可能是多行多段的文章，有可能是一句一行的例句)
a.txt      

I am Tom.I am eating an apple.It's delicus.there is a car boot sale.
   you can buy the apple as you wanted.really! I will go there.

bb.txt

   do you want to eat apple?
I don't know.
you need ask yourself
once I met a bear.because I was lost in forest. At last,I was safe.


z1111.txt

我有个生词列表文件 newword.txt,每个单词1行，如
apple
about
......
once

最终 ok.txt 类下

apple   | I am Tom.I am eating an [ apple ].It's delicus.there is a car boot sale.  |  a.txt
apple   | It's delicus.there is a car boot sale.   you can buy the [ apple ] as you wanted.really! I will go there.  | a.txt
...............................
once    |.....................[ once ]...............................................................|  bb.txt

目的是背完生词后，从语料库里取些生词的相关语句作阅读理解，加强记忆。

thanks

以下是示例文件

newword.zip (1.14 KB, 下载次数: 7)

2013-12-19 16:30 上传

点击文件名下载附件

pitonas

取出包含  单词列表文件newword.txt   中各单词的前后2行作为1行,
{:2_172:} 小伙伴们, 给个例子。

回复 1# blackantt


   

blackantt

回复 2# pitonas

   示例已放在附件里，thanks.  可能需要考虑哪些标点是分句的，哪些不是分句的。其实也无所谓。粗点就粗点，能用就行。

   

pitonas

{:2_172:} 小伙伴们,

前后2行 = 3 行 ? 4 行 ? 5 行 ?

回复 3# blackantt


   

blackantt

回复 4# pitonas

   多谢提醒，最好应该是前后2句吧（以英语的.!?做结的都算1句吧）。 主要是如果只取生词所在句，有时不好理解决。所以取它的前后2句，有个上下语境，更好理解一些。


   

pitonas

{:2_169:}小伙伴们, 这个粗点, 如果你不满意，请告诉我

1. #!/usr/bin/perl
   
2. 
   
3. # READ ME!
   
4. my $Dir     = '/xyz';
   
5. # newword.txt and OK.txt in diffrent dir
   
6. my $newword = '/abc/newword.txt';
   
7. my $save    = '/abc/OK.txt';
   
8. 
   
9. open my $dic, $newword or die $!;
   
10. my %dic = map { s/\s*$//; $_, [] } <$dic>;
    
11. my $word = join '|', keys %dic;
    
12. my @word = keys %dic;
    
13. 
    
14. sub findtxt {
    
15.     my $dir = shift;
    
16.     map { -d $_ ? findtxt($_) : /\.txt$/ ? $_ : () } glob "$dir/*";
    
17. }
    
18. 
    
19. for my $file ( findtxt $Dir) {
    
20.     open my $f, $file or die $!;
    
21.     my $data = do { local $/; <$f> };
    
22.     $data =~ s/\s{2,}|\r?\n//g;
    
23.     my ($fn) = $file =~ /(\w+\.txt)$/;
    
24.     for my $w (@word) {
    
25.         while ( $data =~
    
26.             /\s*((?:[^\.]+\.){0,1}[^\.]*?$w[^\.]*?\.(?:[^\.]+\.){0,1})/ig )
    
27.         {
    
28.             my $string = $1;
    
29.             $string =~ s/$w/[ $w ]/g;
    
30.             push @{ $dic{$w} }, "$w\t| $string | $fn";
    
31.         }
    
32.     }
    
33. }
    
34. open my $S, '>', $save or die $!;
    
35. while ( my ( $k, $v ) = each %dic ) {
    
36.     next unless @$v;
    
37.     print $S join( "\n\n", @$v ), "\n\n";
    
38. }

复制代码

w123456_cu

学习 了，可以收录到cookbook

blackantt

回复 6# pitonas

thanks for pitonas

这个已经很好用了，如果有时间的话，请再看一下。




1.原程序有点小问题，见附件 bug.jif

2.如果可以的话，再帮我把音标插到关键字与例句之间，形成一个对大家都有用的英语工具。

即最后结果象 ybxg.jpg

apple   /5Apl/  |  ....... This is an [ apple ]........| nce3.txt


音标文件 phonetic.txt （每行为 "单词  /音标/"的形式） ，及测试文件在附件里，

ok.zip (1.09 MB, 下载次数: 9)

2013-12-21 17:06 上传

点击文件名下载附件

   

pitonas

{:2_171:}小伙伴们, 0grade6.txt... 编码 UTF-16LE, 所以无法找到苹果
try
1: save all your files 编码 UTF-8
2: 试试你的所有文件转换为UTF-8

README !!
http://mocha-c-163-com.iteye.com/blog/583064
Change File Encoding to utf-8 via vim in a script
http://stackoverflow.com/questio ... via-vim-in-a-script

试试这个脚本? 小伙伴们, 如果你不满意，请告诉我

1. #!/usr/bin/perl
   
2. 
   
3. my $Dir  = '/xyz';
   
4. 
   
5. # README! newword.txt 每行字後面没有空格
   
6. my $newword = '/abc/newword.txt';
   
7. my $phone   = '/abc/phonetic.txt';
   
8. my $save    = '/abc/ok.txt';
   
9. my $t       = qr/[^\.\?\!]/;
   
10. my $e       = qr/[\.\?\!]/;
    
11. 
    
12. open my $dic, $newword or die "$newword:\t$!";
    
13. open my $pho, $phone   or die "$phone:\t$!";
    
14. 
    
15. my %dic   = map { chomp; $_, [] } <$dic>;
    
16. my @word  = keys %dic;
    
17. my %phone = map @$_, grep $dic{ $_->[0] }, map [split], <$pho>;
    
18. 
    
19. sub findtxt {
    
20.     my $dir = shift;
    
21.     map { -d $_ ? findtxt($_) : /\.txt$/ ? $_ : () } glob "$dir/*";
    
22. }
    
23. 
    
24. for my $file ( findtxt $Dir) {
    
25.     print "$file\n";
    
26.     open my $f, $file or die "$file:\t$!";
    
27.     my $data = do { local $/; <$f> };
    
28.     $data =~ s/[\r\n]|\s{2,}/ /g;
    
29.     for my $w (@word) {
    
30.         next unless $data =~ /\b$w/i;
    
31.         while ( $data =~
    
32.             /\s*\|?\s*((?:$t*?$e){0,1}$t*?\b($w\w*)$t*?$e(?:$t*?$e){0,1})/ig )
    
33.         {
    
34.             my $string = $1;
    
35.             my $w2     = $2;
    
36.             $string =~ s/\b$w2/[ $w2 ]/ig;
    
37.             push @{ $dic{$w} }, "$w $phone{$w}\n$string\n# $file";
    
38.         }
    
39.     }
    
40. }
    
41. 
    
42. open my $S, '>', $save or die "$save:\t$!";
    
43. for my $k ( sort keys %dic ) {
    
44.     next unless @{ $dic{$k} };
    
45.     print $S join( "\n\n", @{ $dic{$k} } ), "\n\n";
    
46. }
    

复制代码

blackantt

回复 9# pitonas

thanks to pitonas

非常满意，呵呵。谢谢。