如何去掉重复的行

sunzhiguolu

104359176 发表于 2017-08-29 14:56
把正则玩到如此地步，基本上可以不用学加密了。

大神的意思，就是我那个正则书写的有如天书呗。
示例文本在此

sdfsdfxxx
sdfsdcccc
sfv
vb
delA
cb
delB
cbb
delC
zxc
cvbn
againA
cbEND
break
againB

sunzhiguolu

回复 10# rubyish

sdfsdfxxx
sdfsdcccc
sfv
vb
delA
cb
delB
cbb
delC
zxc
cvbn
againA
cbEND
break
againB

我只是将您那个例子 展开一下，不知行不行？

sunzhiguolu

回复 10# rubyish
这个是你的例子。。。

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. local $/ = undef;
   
6. local $_ = <DATA>;
   
7. s/^(?:([a-z]{2,5})\N*\n)(.*?)(^\1\N*\n)+/$2/gms;
   
8. print;
   
9. 
   
10. __DATA__
    
11. sdfsdfxxx
    
12. sdfsdcccc
    
13. sfv
    
14. vb
    
15. delA
    
16. keep
    
17. delB
    

复制代码

rubyish

回复 13# sunzhiguolu

s/^(?[a-z]{2,5})\N*\n)(.*?)(^\1\N*\n)+/$2/gms;

XXle~~

rubyish

回复 13# sunzhiguolu

If DATA:  >= 6

1. dontdeleteme1
   
2. dontdeleteme2
   
3. dontdeleteme3

复制代码

Ruhe xiugai? 3Q~~

sunzhiguolu

回复 15# rubyish
了解了

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. local $/ = undef;
   
6. local $_ = <DATA>;
   
7. s/^(?:([a-z]{2,})\N*\n)(.*?)(^\1\N*\n)+/$2/gms;
   
8. print;
   
9. 
   
10. __DATA__
    
11. sdfsdfxxx
    
12. sdfsdcccc
    
13. sfv
    
14. vb
    
15. delA
    
16. keep
    
17. delB
    
18. dontdeleteme1
    
19. dontdeleteme2
    
20. dontdeleteme3
    

复制代码

sunzhiguolu

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. my @aData = ['*'];
   
6. while(<DATA>){
   
7.     my ($t) = /\A(\S{2})/;
   
8.     my ($pos) = grep {$t eq $aData[$_][0]} 0 .. $#aData;
   
9.     defined($pos) ? push(@{$aData[$pos][-1]}, $_) : push(@aData, [$t,[$_]]);
   
10. }
    
11. 
    
12. foreach (grep {@{$_->[-1]} == 1} @aData){
    
13.     print($_->[-1][0]);
    
14. }
    
15. 
    
16. __DATA__
    
17. sdfsdfxxx
    
18. sdfsdcccc
    
19. sfv
    
20. vb
    
21. delA
    
22. cb
    
23. delB
    
24. cbb
    
25. delC
    
26. zxc
    
27. cvbn
    
28. againA
    
29. cbEND
    
30. break
    
31. againB
    

复制代码

Can't use string ("*") as an ARRAY ref while "strict refs" in use at ...

这是啥情况？

rubyish

回复 16# sunzhiguolu

删掉一个文本里有2个及以上前5位字符相同的行

3Q~ Wode lijie shi?

2 .. 5  del
6 ..      dont del

sunzhiguolu

回复 18# rubyish
纯正则进行判断好像有点难度。。。

#!/usr/bin/perl
use strict;
use warnings;

local $/ = undef;
local $_ = <DATA>;
s/^([a-z]{2,})\N*\n(.*?)(?:^\1\N*\n)+/length($1) > 5 ? $& : $2/gems;
print;

__DATA__
sdfsdfxxx
sdfsdcccc
sfv
vb
delA
keep
delB
dontdeleteme1
dontdeleteme2
dontdeleteme3

rubyish

回复 19# sunzhiguolu

3Q~~

Can't use string ("*") as an ARRAY ref while "strict refs" in use at ...

foreach (grep {@{$_->[-1]} == 1} @aData){

@{ ARRAYREF }

@{ $_->[-1] }
$_ is ARRAYREF
$_->[-1] '*' not ARRAYREF