二维数组文件处理

KoomIer

不会用shell做计算，所以想到用python来处理一个文件，我纯新手但是模仿很快

我需要解决的几个问题
> 将一个文件的数据读入
> 对列进行可读性处理，删除不必要的信息
> 基于一个值进行计算

1. 
   
2. #原始文件格式：
   
3. Server03        1        936914594        198618649901541f        460019906205067f        1411040000442b0800        4158        6076        6        ;
   
4. Server03        3        936914596        198618649901541f        460019906205067f        1411040000442b0800        4158        6076        5        ;
   
5. ...
   
6. 非常长的文件
   

复制代码

第一列服务器，第二列表示什么服务，第三列话单好， 第四列我只需要1986<>f 中间那部分，那部分是个手机号， 5列需要去除f是imsi号，6列是时间需要去除2b0800， 接下来两列是上下行流量，最后一列是标示号

我可能需要做的计算，
1 统计服务1的所有上下行流量
2 统计单个手机上下行的流量

reyleon

结果输出要如何展示?

也就是说, 你要什么结果吧...

一般的提问:

1. 原始文本
2. 需求以及说明
3. 目标文本

reyleon

目测一下吧:

1. [root@localhost ~]# cat file
   
2. Server03        1        936914594        198618649901541f        460019906205067f        1411040000442b0800        4158        6076        6        ;
   
3. Server03        3        936914596        198618649901541f        460019906205067f        1411040000442b0800        4158        6076        5        ;
   
4. [root@localhost ~]#
   
5. [root@localhost ~]# awk '{k=$1"\t"$2;a[k]+=$(NF-3);b[k]+=$(NF-2);p=substr($4,5,11);c[p]+=$(NF-3);d[p]+=$(NF-2)}END{for(i in a)print i,"up:"a[i],"down:"b[i];for(i in c)print i,"up:"c[i],"down:"d[i]}' file
   
6. Server03        1 up:4158 down:6076
   
7. Server03        3 up:4158 down:6076
   
8. 18649901541 up:8316 down:12152
   
9. [root@localhost ~]#
   
10. [root@localhost ~]#

复制代码

KoomIer

谢谢，我主要是不知道怎么做加法

主要需求是做加法

1>
就是基于server的
server01  UP：ＸＸＸＸ　down:XXXX
server03  UP：ＸＸＸＸ　down:XXXX
2> 统计基于手机号的流量
xxxxxxx up：xxx down：xxx
xxxxxxx up：xxx down：xxx
3> 统计基于服务的流量
服务1 UP:    down:
服务2 UP:    down:
4> 统计基于时间的流浪：
14110301~14110302 UP:  down:
14110302~14110303 UP:  down:


回复 3# reyleon


   

KoomIer

谢谢啊，另外要问的一个是

1. 
   
2. awk '
   
3.                   {k=$1"\t"$2;
   
4.        a[k]+=$(NF-3);
   
5.        b[k]+=$(NF-2);
   
6.        p=substr($4,5,11);
   
7.        c[p]+=$(NF-3);
   
8.        d[p]+=$(NF-2)}
   
9.        END
   
10.        {for(i in a)print i,  
    
11. #为什么是在a中穷举啊，这个我不能理解， 不是应该是所有的k么
    
12.        "up:"a[i],"down:"b[i];
    
13.        for(i in c)print i,
    
14. #同上
    
15.        "up:"c[i],"down:"d[i]}
    
16.       
    
17.        ' file
    

复制代码

回复 3# reyleon


   

reyleon

你照猫画虎就对了

tomer

1. 
   
2. [root@VM ~]# more 11.txt
   
3. Server03        1        936914594        198618649901541f        460019906205067f        1411040000442b0800        4158        6076        6        ;
   
4. Server03        3        936914596        198618649901541f        460019906205067f        1411040000442b0800        4158        6076        5        ;
   
5. Server01        3        936914596        198618649901541f        460019906205067f        1411040000442b0800        4158        6076        5        ;
   

复制代码

1. 
   
2. [root@VM ~]# more tjlj.py
   
3. #!/usr/bin/python
   
4. import sys
   
5. import re
   
6. import string
   
7. if len(sys.argv) < 3:
   
8.   print("usage:",sys.argv[0],"filename servernumber")
   
9.   sys.exit()
   
10. up=0
    
11. down=0
    
12. f=open(sys.argv[1],"r")
    
13. for i in f:
    
14.   arr=i.split()
    
15.   if sys.argv[2]==arr[1]:
    
16.       up+=float(arr[6])
    
17.       down+=float(arr[7])   
    
18. print("servernumber",sys.argv[2],"upflow is:",up)
    
19. print("servernumber",sys.argv[2],"downflow is:",down)
    
20. f.close()

复制代码

1. 
   
2. [root@VM ~]# ./tjlj.py 11.txt 3                                   
   
3. servernumber 3 upflow is: 8316.0
   
4. servernumber 3 downflow is: 12152.0

复制代码

tomer

1. 
   
2. #!/usr/bin/python
   
3. import sys
   
4. import re
   
5. import string
   
6. if len(sys.argv) < 3:
   
7.   print("usage:",sys.argv[0],"filename phonenumber")
   
8.   sys.exit()
   
9. up=0
   
10. down=0
    
11. f=open(sys.argv[1],"r")
    
12. for i in f:
    
13.   arr=i.split()
    
14.   phnumber=re.findall(r'(?<=1986).*(?=f)',arr[3])
    
15.   if sys.argv[2]==phnumber[0]:
    
16.       up+=float(arr[6])
    
17.       down+=float(arr[7])
    
18. print("phonenumber",sys.argv[2],"downflow is:%f, upflow is:%f" %(down,up))
    
19. f.close()
    
20. ~        

复制代码

1. 
   
2. [root@VM ~]# ./phonelj.py 11.txt 18649901541
   
3. phonenumber 18649901541 downflow is:18228.000000, upflow is:12474.000000
   

复制代码

tomer

别的同理，改改就行了

KoomIer

我开始步骤做的

第一步过滤出来有用的信息，大概花了30分钟，得到三个文件

1. 
   
2. /var/opt/BGw/ServerGroup1/Server1/BGwTTStorage/GPRS/cdrst/te/result/Koo# ls -ltr
   
3. total 7284998
   
4. -rw-r--r--   1 root     root     1191301377 Nov 27 14:20 GGSN02_1.log
   
5. -rw-r--r--   1 root     root     1296238632 Nov 27 14:22 GGSN01_1.log
   
6. -rw-r--r--   1 root     root     1242347819 Nov 27 14:22 GGSN03_1.log
   
7. -rwxr-xr-x   1 root     root          81 Nov 27 20:02 sta.sh
   
8. 
   
9. #数据格式
   
10. /var/opt/BGw/ServerGroup1/Server1/BGwTTStorage/GPRS/cdrst/te/result/Koo# head GGSN02_1.log
    
11. server02 2 18629858348 141104120830 8013 7077
    
12. server02 1 13134460511 141104120631 0 0
    
13. server02 2 13039305885 141104121012 16622 16810
    
14. server02 2 15504487151 141104121036 709 794
    
15. server02 2 13214358761 141104121023 125 480
    
16. server02 2 13244245190 141104111116 48634 74515
    
17. server02 2 13214358761 141104121116 193 707
    
18. server02 2 13278423411 141104121112 127 601
    

复制代码

然后第二步骤

1. 
   
2. /var/opt/BGw/ServerGroup1/Server1/BGwTTStorage/GPRS/cdrst/te/result/Koo# vi all.sh
   
3. "all.sh" [New file]
   
4. awk '{p=$3;c[p]+=$5;d[p]+=$6}END{for(i in c)print i,"uplink:"c[i],"downlink:"d[i]}' *.log > sum
   
5. ~
   
6. 
   
7. ~
   
8. "all.sh" [New file] 1 line, 96 characters
   
9. /var/opt/BGw/ServerGroup1/Server1/BGwTTStorage/GPRS/cdrst/te/result/Koo# chmod 755 all.sh
   
10. 
    
11. /var/opt/BGw/ServerGroup1/Server1/BGwTTStorage/GPRS/cdrst/te/result/Koo#nohup ./all.sh &
    

复制代码

问题来了结果跑了5个小时没出来结果

回复 6# reyleon