二维数组文件处理

KoomIer

问题会不会出在这里

nohup awk '{p=$3;c[p]+=$5;d[p]+=$6}END{for(i in c)print i,c,d}' *.log > sta.data &


我们用了手机号$3做下标，导致每次找c的时候寻址空间太大


手机号的长度为11位
而我的手机数量其实只有百万级 也就是7位，
从而产生了寻址问题


另外还有就是这个加法，到底能算多大数据
单用户的数据量应该在一天的流量1G以内吧，用来做加法会有问题吗 ？
100000000


问题会不是出在这里啊


回复 6# reyleon


   

wiliiwin

此脚本输入你想要计算的列统计，列从0开始算起，比如服务代码这这列为1，就输入1，就可以算出来服务代码的统计信息，其他列依次类推。

1. # more 29.txt
   
2. Server03        1        936914594        198618649901541f        460019906205067f        1411040000442
   
3. b0800        4158        6076        6        ;
   
4. Server03        3        936914596        198618649901541f        460019906205067f        1411040000442
   
5. b0800        4158        6076        5        ;
   
6. Server03        1        936914594        198618649901541f        460019906205067f        1411040000442
   
7. b0800        4158        6076        6        ;
   
8. Server03        3        936914596        198618649901541f        460019906205067f        1411040000442
   
9. b0800        4158        6076        5        ;

复制代码

1. # more test.py
   
2. #!/usr/bin/env python   
   
3. hash={}
   
4. num=int(raw_input('Enter a num:'))
   
5. for line in open("29.txt"):
   
6.     i=line.split()
   
7.     if num==3:
   
8.         i[num]=i[num][4:15]
   
9.     elif num==5:
   
10.         i[num]=i[num][0:12]  
    
11.     if not hash.get(i[num]):
    
12.        hash[i[num]]=[0,0]
    
13.        hash[i[num]][0]+=int(i[6])
    
14.        hash[i[num]][1]+=int(i[7])
    
15.     else:
    
16.        hash[i[num]][0]+=int(i[6])
    
17.        hash[i[num]][1]+=int(i[7])
    
18. for key in hash.keys():
    
19.     print "%s\tup:%s\tdown:%s" %(key,hash[key][0],hash[key][1])  

复制代码

1. 
   
2. 统计服务代码up和down总量
   
3. #./test.py
   
4. Enter a num:1
   
5. 1        up:8316        down:12152
   
6. 3        up:8316        down:12152
   

复制代码

1. 统计手机号 up和down的总量
   
2. # ./test.py
   
3. Enter a num:3     
   
4. 18649901541        up:20790        down:30380

复制代码

伯牙子期90

#/usr/bin/python

upstream = 0
downstream = 0
serverup_dic = {}
serverdown_dic = {}

file_object = open('/root/ipall.txt','r')

for x in file_object:
    list = x.split()
    list[3] = list[3][4:15]
    list[4] = list[4][:-1]
    list[5] = list[5][0:12]
    if list[1] == "1":
        upstream = upstream + int(list[6])
        downstream = downstream + int(list[7])
    if serverup_dic.has_key(list[0]):
        serverup_dic[list[0]] = serverup_dic[list[0]] + int(list[6])
    else:
        serverup_dic[list[0]] = int(list[6])

    if serverdown_dic.has_key(list[0]):
        serverdown_dic[list[0]] = serverup_dic[list[0]] + int(list[7])
    else:
        serverdown_dic[list[0]] = int(list[7])

    print list

print "the server 1 upload traffic is %uk" % upstream
print "the server 1 load traffic is %uk" % downstream
for key,value in serverup_dic.items():
    print "phone %s upload traffic is %uk" % (key,value)
for key,value in serverdown_dic.items():
    print "phone %s download traffic is %uk" % (key,value)

file_object.close()