统计文本中重复数值出现次数并排序

papagogogo

0.123
0.423
0.123
0.481
0.876
0.374
0.423
0.458
0
0
0.3333333
0.373
.....
.....



诸如这样的数据格式。大概30万行，需要统计去重并统计相同数值出现的重复次数，最后对数值排序输出结果。新手比较困扰，请问如何写这个逻辑呢，谢谢各位。

q1208c

sort -n | uniq -c | sort -n

papagogogo

非常感谢，但是好像不行，uniq好像只比较的是相邻行？这样做出来还有很多重复的没有计数和删除。
回复 2# q1208c


   

papagogogo

噢好像可以，我再试试。回复 2# q1208c


   

jason680

回复 1# papagogogo

How about this ...

use strict;
use warnings;

my %hCount;
while(<DATA>){
  s/\s*$//s;
  next if(m/^\s*$/);
$hCount{$_}++;
}

foreach(sort{$a <=> $b} keys %hCount){
  print "$_\t$hCount{$_}\n";
}

__DATA__
0.123
0.423
0.123
0.481
0.876
0.374
0.423
0.458
0
0
0.3333333
0.373
   

huang6894

楼上正解~{:2_168:}

q1208c

回复 5# jason680

如果数据量很大, 要怎么搞呢?
   

jason680

回复 7# q1208c


$ perldoc -f sort
    sort SUBNAME LIST
    sort BLOCK LIST
    sort LIST
            In list context, this sorts the LIST and returns the sorted list
            value. In scalar context, the behaviour of "sort()" is undefined.

            ...

                # same thing, but much more efficiently;
                # we'll build auxiliary indices instead
                # for speed
                my @nums = @caps = ();
                for (@old) {
                    push @nums, ( /=(\d+)/ ? $1 : undef );
                    push @caps, uc($_);
                }

                my @new = @old[ sort {
                    $nums[$b] <=> $nums[$a]
                        ||
                    $caps[$a] cmp $caps[$b]
                    } 0..$#old
                ];

                # same thing, but without any temps
                @new = map { $_->[0] }
                       sort { $b->[1] <=> $a->[1]
                           ||
                       $a->[2] cmp $b->[2]
                } map { [$_, /=(\d+)/, uc($_)] } @old;

   

q1208c

回复 8# jason680

我的意思是, 内存里无法放下这个多数据.

你发过来的说明, 我没太看明白, 不知道 内置的 sort 函数有没有可能在硬盘上建立临时文件. 但 push 操作应该不会push到硬盘上吧.
   

jason680

回复 9# q1208c

>>我的意思是, 内存里无法放下这个多数据.

这是另一个问题....

属于大数据问题...

通解
1. 大数据 solution 资料库,...
个别特解
2. 特别的解决方案--只适用本问题...
例: 先分组,再排序...
所有数据范围在 0 ~ 1 (不含1)
   分10组则为1/10 = 0.1 (先拆成十个文档)
  分5组则为1/5 = 0.2 (先拆成五个文档)


1. split FILE by range of setting(1/10, 1/5, ...) and get N files
2. sort each N files
3. combine sorted N files