求助：大型数据统计重复次数

hkldd

      工作中需要将系统导出的数据进行处理，每次大约有3千万行左右的文本数据，其中很多数据是重
复出现的，现需累计重复次数后制表，以下是样本及期望获得的结果，诚请各位大侠帮助。谢谢！

系统导出的数据：

  序号          识别编码         call(次)       基站
00000001    11 23 55 73 89 82     1       sp0001
00000002    13 33 58 73 82 89     1       sp0001
00000003    13 33 58 73 82 89     1       sp0001
00000004    13 33 58 73 82 89     1       sp0001
00000005    15 36 68 79 85 99     1       sp0001
00000006    01 12 23 24 55 68     1       sp0001
00000007    03 05 11 23 45 89     1       sp0001
00000008    11 23 55 73 89 82     1       sp0001
00000009    15 36 68 79 85 99     1       sp0001
00000010    15 36 68 79 85 99     1       sp0001
00000011    07 10 11 17 56 89     1       sp0001
00000012    11 23 55 73 89 82     1       sp0001
00000013    15 36 68 79 85 99     1       sp0001
00000014    16 19 28 35 65 79     1       sp0001
00000015    15 36 68 79 85 99     1       sp0001
00000016    11 23 55 73 89 82     1       sp0001
00000017    16 19 28 35 65 79     1       sp0001
00000018    11 23 55 73 89 82     1       sp0001
00000019    32 55 67 68 78 79     1       sp0001
00000020    32 55 67 68 78 79     1       sp0001
00000021    22 25 27 36 49 78     1       sp0001
00000022    22 25 27 36 49 78     1       sp0001
00000023    22 25 27 36 49 78     1       sp0001
00000024    22 25 27 36 49 78     1       sp0001
  ·
  ·
  ·
  ·

期望得到的运行结果：(累计次数排序)

序号       识别编码      call(次)
1    11 23 55 73 89 82     5
2    15 36 68 79 85 99     5
3    22 25 27 36 49 78     4
4    13 33 58 73 82 89     3
5    16 19 28 35 65 79     2
6    32 55 67 68 78 79     2
7    01 12 23 24 55 68     1
8    03 05 11 23 45 89     1
9    07 10 11 17 56 89     1

yestreenstars

1. awk -F "  +" -vOFS="\t" 'BEGIN{print "序号","识别编码","call（次）"}NR>1{a[$2]++}END{for(i in a)print ++j,i,a[i]}'

复制代码

waker

回复 2# yestreenstars

忘记排序了
   

yestreenstars

回复 3# waker


    哦哦，看出来了，从次数多到小排序。

rongpmcu

回复 2# yestreenstars


    你好像把第一行丢了，呵呵

hkldd

谢谢大侠们的回复！继续求助：由于不懂unix系统，不知3千多万行处理完大约需要多少时间？硬件配置有什么要求？普通pc可以运行吗？

附：如有整机装好unix系统，并且可处理该数据的，请站内短信方便采购。)谢谢！

z421941982

回复 2# yestreenstars

系统导出的数据：

  序号           识别编码                  call(次)       基站
00000001    11 23 55 73 89 82     1       sp0001
00000002    13 33 58 73 82 89     1       sp0001
00000003    13 33 58 73 82 89     1       sp0001
00000004    13 33 58 73 82 89     1       sp0001
00000005    15 36 68 79 85 99     1       sp0001
00000006    01 12 23 24 55 68     1       sp0001
00000007    03 05 11 23 45 89     1       sp0001
   

俺觉得, 这个要楼主确认一下, 是只需要按 "识别编码" ($2) 出现的次数来计数,  还是要根据 call次 ($3) 的值来求和

即:  a[$2]++
或:  a[$2]+=$3

hkldd

呵呵！只需要按 "识别编码"  出现的次数来计数就行了,系统导出来的数据记录，就是每call 1次就记录1行，定时导出来进行统计分析与备份，刚开始数据量小是用excel统计，现在不行了，所以想换别的方式，特来求助！