文本（行有几十万，列有20列以上）求和及求min最小值 要保证速度

seanking1987

回复 9# jason680


大神，我花了大半个小时写了一个，发现个问题请教下：

1. awk -F '|' '{k=$1 FS $2;v=$3 FS $4 FS $5 FS $6;if(a[k] == "")a[k]=v;else {split(a[k],b,"|");if($3>b[1])$3=b[1];$4+=b[2];$5+=b[3];$6+=b[4];a[k]=$3 FS $4 FS $5 FS $6}}END{for(i in a) print i FS a[i]}' test.txt
   
2. 结果：
   
3. 20160101|42012319891122492X|602|20000|300|30000
   
4. 20160101|420123197911215144|612|10000|30000|200

复制代码

这样写没问题，但如果是：

1. awk -F '|' '{k=$1 FS $2;v=$3 FS $4 FS $5 FS $6;if(a[k] == "")a[k]=v;else {split(a[k],b,"|");if($3>b[1])$3=b[1];$4+=b[2];$5+=b[3];$6+=b[4];a[k]=v}}END{for(i in a) print i FS a[i]}' test.txt
   
2. 结果：
   
3. 20160101|42012319891122492X|605|10000|200|20000
   
4. 20160101|420123197911215144|612|10000|30000|200

复制代码

不同的地方a[k]=$3 FS $4 FS $5 FS $6与a[k]=v
对于awk的变量，如果定义的是v=$1,$1在以后的使用中值变了，例如$1+=1,那么v的值不会变？有办法让v的值跟着变吗？

jason680

回复 11# seanking1987

>> ...对于awk的变量，如果定义的是v=$1,$1在以后的使用中值变了，例如$1+=1,那么v的值不会变？有办法让v的值跟着变吗？

违反编程原则...

且你的想法大错特错...
v=$1, 改$1则v也要改变....
有一天，你要保存 line=$0
改完$0个后,打印line与$0个比较差别...
结果无差别因为改$0个则line也会变---不用编程了
   

haooooaaa

1. k, min_col, sum_col = {}, 2, 3
   
2. 
   
3. with open("a") as f:
   
4.     for i in f:
   
5.         tmp = i.split("|")
   
6.         key = "|".join(tmp[:min_col])
   
7.         k.setdefault(key, [[]] + [0]*len(tmp[sum_col:-1]))
   
8.         k[key][0].append(int(tmp[min_col]))
   
9.         k[key][1:] = map(lambda x,y:x+int(y),k[key][1:],tmp[sum_col:-1])
   
10.         
    
11. for i in k:
    
12.     print "%s|%s|%s|" % (i, min(k[i][0]), "|".join([str(j) for j in k[i][1:]]))

复制代码

seanking1987

回复 12# jason680

thanks 大神回复。
我想我把变量v当成指针的概念了。

chenteng168

以上脚本都可以，但是遇到（行有几十万，列有20列以上）就非常非常慢，有没有更好的方法

jelon521

看见代码，完全懵逼

Driven511

学习了，厉害！回复 9# jason680


   

haooooaaa

个人笔记本测试了一下， 生成 1000000 行， 36列（含最小的，求和的，及ID值）数据。

头3行：

1. cyg@win /tmp$ head -3 test.txt
   
2. 20160101|10210219891122492X|6519|6379|8746|6579|5546|4796|5371|602|2248|3945|4494|7080|2567|8603|1307|288|7142|5401|2520|6885|7489|4748|6253|5540|8682|6859|7481|135|3523|2595|2883|583|4905|2858|2436|
   
3. 20160101|10057319891122492X|9108|2638|4063|5580|4441|6673|7347|7554|912|532|8950|2237|5728|7966|1505|1270|8086|4463|1516|8590|4317|3179|7438|1932|9768|6947|8288|3814|3337|6907|4519|7046|4445|1488|5345|
   
4. 20160101|10183119891122492X|3610|4350|7453|3105|6655|3707|6085|5874|8477|9185|6918|2266|138|5887|9865|4210|5094|3106|8372|9028|3063|8060|7932|8587|9616|3536|2002|3068|5003|3380|4275|5061|4649|3974|9802|

复制代码

时间：

1. cyg@win /tmp$ time python find.py >a
   
2. 
   
3. real    0m56.930s
   
4. user    0m0.000s
   
5. sys     0m0.046s

复制代码

内存最多时大概 25MB

1. cyg@win /tmp$ wc -l a
   
2. 3000 a
   
3. cyg@win /tmp$ ll
   
4. 总用量 197024
   
5. -rw-r--r-- 1 None None    918000 六月 24 22:37 a
   
6. -rw-r--r-- 1 None None       264 六月 24 22:34 f.py
   
7. -rw-r--r-- 1 None None       428 六月 24 22:24 find.py
   
8. -rw-r--r-- 1 None None 200819927 六月 24 22:35 test.txt

复制代码

另，awk 测试了一下， 内存30MB，时间：

1. real    1m10.352s
   
2. user    1m9.716s
   
3. sys     0m0.342s

复制代码

1. cyg@win /tmp$ cat f.py
   
2. import random
   
3. 
   
4. with open("test.txt",'wb') as f:
   
5.     for i in xrange(1000000):
   
6.         tmp = "20160101|%s19891122492X|%s|\n" % (random.choice(xrange(100000,103000)),"|".join([ str(random.choice(xrange(100,10000))) for j in range(35)]))
   
7.         f.write(tmp)
   

复制代码

以上，使用 cygwin 测试，系统 WIN7 x64, CPU Dual-Core T4500 2.3G, 内存：5GB

chenteng168

回复 4# Herowinter


    不好意思又来麻烦你了--！
A00000000001|102|
A00000000001|103|
A00000000002|102|
我想通过第一列关键列求第二列最小值，实际文件中只有二列，但有N行
结果：
A00000000001|102|
A00000000002|102|