紧急：如何进行数据汇总累加

沙滩小子

我有大量的文件，格式如下a.txt：
123876,876,3
123876,876,4
123877,877,34
123878,878,39
123876,876,34
123879,879,21
123877,877,21
如何进行处理后只变成b.txt：
123876,876,41
123877,877,55
123878,878,39
123879,879,21
就是按照固定的几列进行唯一排序，并且汇总第三列的数据总和。

muzx

试一下这个，看行不行：

1. awk 'BEGIN{FS=","}{a[$1,$2]+=$3} END{for (i in a) printf"%d,%d,%d\n",substr(i,1,length(i)-3),substr(i,length(i)-2,3),a[i]}' a.txt|sort

复制代码

或

1. awk 'BEGIN{FS=","}{a[$1]=$2;b[$1]+=$3} END{for (i in a) printf"%d,%d,%d\n",i,a[i],b[i]}' a.txt|sort

复制代码

woodie

这是awk的强项：

1. awk 'BEGIN{FS=","}{sum[$1,$2]+=$3}END{for (i in sum) print i, sum[i]}'<<EOF
   
2. > 123876,876,3
   
3. > 123876,876,4
   
4. > 123877,877,34
   
5. > 123878,878,39
   
6. > 123876,876,34
   
7. > 123879,879,21
   
8. > 123877,877,21
   
9. > EOF

复制代码

woodie

英雄所见略同。
我的没对结果排序。

muzx

噢，不谋而合！
不过......

沙滩小子

谢谢楼上的两位！

Chinese_Dragon

你们是真正的高手

沙滩小子

sed里面定义的数组最大支持多大呢？
我执行后会有如下提示：
awk: Internal software error in the tostring function on 123877877
The input line number is 123406. The file is bcp_ser0429001.txt2.
The source line number is 3.
是否达到数组最大的定义范围呢？

woodie

具体的限制我不清楚，你可以试试将文件分割后汇总。

沙滩小子

已经这么做了，但是最后想汇总成一个文件比较麻烦
由于不通的记录数太多了。
打算先进行排序，然后进行分割，最好再做。
看这样是否可以，虽然花时间