字符串排序

Windows19

有在shell版老师说叫我过来这看看   我也就过来了  



不限语言

原贴
http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=4263348&fromuid=29931773
(出处: http://bbs.chinaunix.net/)





简化描述贴
http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=4263390&fromuid=29931773
(出处: http://bbs.chinaunix.net/)


统计最多字符串进行重新排序
A.txt

a1
b2
1a
d3
a1a
7c
2a0
5b
c9
6b6


分2种统计类型  1种统计字母串   1种统计数字串  ，如果同时判断这2种条件类型， 可能会存在某种判断冲突  还是写统计一种类型吧，

1, 如果按字母串统计^[a-zA-Z]  其特征 a是文本内出现5次  b出现3次  c出现2次  d出现1次  所以得从多到小排序


2, 如果按数字串统计^[0-9]  其特征  1是文本内出现3次  2出现2次  6出现2次  5出现1次  9出现1次 7出现1次 3出现1次


如果按字母串统计, 出来后大概应该是这样排  

a1
1a
a1a
2a0
b2
5b
6b6
c9
7c
d3

谢谢

quanpai

抛砖引玉

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. my %seen;
   
6. while ( my $word = <DATA> ) {
   
7.   chomp $word;
   
8.   for my $char ( split("", $word) ) {
   
9.       next if $char !~ /[a-zA-Z]/;
   
10.       #next if $char !~ /[0-9]/;
    
11.       $seen{$char}->{num}++;
    
12.       push @{$seen{$char}->{word}}, $word;
    
13.   }
    
14. }
    
15. 
    
16. my %print_seen;
    
17. for my $char ( sort {$seen{$b}->{num} <=> $seen{$a}->{num}} keys %seen ) {
    
18.     for my $word ( @{$seen{$char}->{word}}) {
    
19.       next if $print_seen{$word}++;
    
20.       print $word, "\n";
    
21.     }
    
22. }
    
23. 
    
24. __DATA__
    
25. a1
    
26. b2
    
27. 1a
    
28. d3
    
29. a1a
    
30. 7c
    
31. 2a0
    
32. 5b
    
33. c9
    
34. 6b6
    

复制代码

Windows19

回复 2# quanpai

谢谢能写成定向到文件么
因文件超过百G，最好写成执行一个脚本就可以，这样可以不用嵌入文件内容

例如执行这样命令动行脚本  perl  123  A.txt  >log
这样可以直接定向到目标文件

quanpai

回复 3# Windows19

稍作改变:

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. my %seen;
   
6. open DATA, "<", shift;
   
7. 
   
8. while ( my $word = <DATA> ) {
   
9.   chomp $word;
   
10.   for my $char ( split("", $word) ) {
    
11.       next if $char !~ /[a-zA-Z]/;
    
12.       #next if $char !~ /[0-9]/;
    
13.       $seen{$char}->{num}++;
    
14.       push @{$seen{$char}->{word}}, $word;
    
15.   }
    
16. }
    
17. 
    
18. my %print_seen;
    
19. for my $char ( sort {$seen{$b}->{num} <=> $seen{$a}->{num}} keys %seen ) {
    
20.     for my $word ( @{$seen{$char}->{word}}) {
    
21.       next if $print_seen{$word}++;
    
22.       print $word, "\n";
    
23.     }
    
24. }
    
25. 
    
26. close DATA;
    

复制代码

quanpai

回复 3# Windows19

文件超过百G的话，估计跑不出来

Windows19

回复 4# quanpai

Yes  非常好请能把数字串也一起判断统计么?

Windows19

回复 4# quanpai

请问 如果同时可以统计字母串和数字串  可以实现下面结果吗?  会不会存在判断冲突
a.txt
1a
1j
1y
2a0
2u
5b
6b6
7c
a1
a1a
b2
c9
d3
g2



结果大概可以这样排序

a1
1a
a1a
1y
j1
1j
2a0
g2
2u
b2
5b
6b6
7c
c9
d3

sunzhiguolu

回复 2# quanpai

__DATA__
a1
b2
1a
a1
d3
a1a
7c
2a0
5b
c9
6b6

对于文本内容相同，但不同行的情况如何处理？能否继续抛砖引玉？

523066680

如果文件过百G，可以考虑先遍历一次统计次数，然后再次从头遍历
逐行根据统计结果，分类导出到不同的文件，比如
sort_a.txt,
sort_b.txt
sort_c.txt
.....

这样就不用占用什么内存。都是线性地读取线性地导出。
完成这一步后可以进行合并

Windows19

回复 9# 523066680

4楼测试  内存全部吃光 死机了