如何删除两个句子中相同的字符串

LOSTKILLER

如题：

我有两个文件，一个是英文，另外一个是英文翻译过来的中文。 如下：

英文文件：
mainframe white PaPer
MainfraMe       Buffer-to-Buffer Credits and Their effect on FICON Performance
Having a sufficient number of buffer-to-buffer credits is essential to maintaining maximum FICON®  performance, especially as distance increases.
But how many buffer credits do you need?
In this paper, Brocade®  provides

中文文件：
大型机白皮书
大型机  缓冲区到缓冲区信用及其对 FICON 性能的影响
具有足够数量的缓冲区到缓冲区信用对于保持最高 FICON® 性能至关重要，尤其是在距离增加时。
但是，您需要多少缓冲区信用？
在本白皮书中，Brocade® 提供了

我现在希望同时在两个文件中删除红色标记的字符串。

自己尝试使用\p{Han}去匹配中文里面非中文字符，但是没有成功。求大拿们指导

LOSTKILLER

回复 13# iLRainyday

多谢大侠~

这也是个思路。


   

iLRainyday

LOSTKILLER 发表于 2013-02-01 17:16
回复 9# rubyish

\P{Han}才匹配非中文字符（这里的P是大写）。

你找本learning perl，把里面有关unicode的内容看完你就知道为什么了。

iLRainyday

回复 12# LOSTKILLER

如果你确定中文中需要替换的英文单词是以单个空格或者中英文标点分隔（就像你的样本中那样），那么使用下面的regex来匹配：

1. (?<=\s|\p{P})[A-Z]+?\p{S}?(?=\s)

复制代码

LOSTKILLER

回复 6# iLRainyday

所有非中文替换为XX。\p{Han}可以实现了~

不过空格还有其他字符都也替换掉了


   

LOSTKILLER

回复 9# rubyish


跟这个想法类似。

先把中文句子里面非中文符号提取出来放到一个数组，然后把英文句子查找替换一遍。

$h =~ s/\s*([A-Z]\S+\s+)(?{push @d,$1})//g;

这个正则可以匹配到字母，但是中文句子可能还有很多非中文的UNICODE字符，比如那个商标注册符号。

另外我那个脚本为什么 \p{Han}这个正则表达式不生效？


   

mcshell

1. use strict;
   
2. use warnings;
   
3. use encoding "utf8";
   
4. while(<DATA>){
   
5.    s/(\s*[A-Za-z]+[\p{S}\p{N}\p{C}\p{M}]+\s+|\b[A-Z]+\b)//g;
   
6.     print ;
   
7. }
   
8. __DATA__
   
9. 大型机白皮书
   
10. 大型机  缓冲区到缓冲区信用及其对 FICON 性能的影响
    
11. 具有足够数量的缓冲区到缓冲区信用对于保持最高 FICON&reg; ; 性能至关重要，尤其是在距离加时。
    
12. 但是，您需要多少缓冲区信用？
    
13. 在本白皮书中，Brocade&reg;  提供了
    
14. mainframe white PaPer
    
15. MainfraMe       Buffer-to-Buffer Credits and Their effect on FICON Performance
    
16. Having a sufficient number of buffer-to-buffer credits is essential to maintaining maximum FICON&reg; ;  performance, especially as distance increases.
    
17. But how many buffer credits do you need?
    
18. In this paper, Brocade&reg; ;  provides
    

复制代码

回复 1# LOSTKILLER


    求解 为啥圈圈商标放论坛编辑器里就转成&reg  
@rubyish怎么打出来的  求学习{:3_200:}

rubyish

不知道:

1. #!/usr/bin/perl
   
2. use 5.016;
   
3. 
   
4. my $h = '大型机白皮书
   
5. 大型机  缓冲区到缓冲区信用及其对 FICON 性能的影响
   
6. 具有足够数量的缓冲区到缓冲区信用对于保持最高 FICON® 性能至关重要，尤其是在距离增加时。
   
7. 但是，您需要多少缓冲区信用？
   
8. 在本白皮书中，Brocade® 提供了';
   
9. my $e = 'mainframe white PaPer
   
10. MainfraMe       Buffer-to-Buffer Credits and Their effect on FICON Performance
    
11. Having a sufficient number of buffer-to-buffer credits is essential to maintaining maximum FICON®  performance, especially as distance increases.
    
12. But how many buffer credits do you need?
    
13. In this paper, Brocade®  provides';
    
14. 
    
15. my @d;
    
16. $h =~ s/\s*([A-Z]\S+\s+)(?{push @d,$1})//g;
    
17. my $d = join '|', @d;
    
18. $e =~ s/\s+$d/ /g;
    
19. say $e;
    
20. say $h;

复制代码

iLRainyday

LOSTKILLER 发表于 2013-01-31 17:47
回复 4# q1208c

你这是作甚？把所有的中文替换成xx？

iLRainyday

1、先把中文中需要替换的单词提出，放到一个hash里。
2、提取英文中所有以空格分隔的单词，逐个比对hash，如果hash中 已经有以此单词为key的条目，就意味着这个单词是中文中出现过的，需要删除。

方法比较笨，有好方法的请指点。