shell命令优化

sihouzhao

处理前

1. 61.165.255.92 - - [28/Jun/2014:09:00:00 +0800] "GET http://download.****.com/url/Hh_40.png HTTP/1.1" 200 88025 "-" "Dalvik/1.6.0 (Linux; U; Android 4.3; GT-I9500 Build/JSS15J)" TCP_REFRESH_UNMODIFIED:FIRST_UP_PARENT download.****.com

复制代码

处理后

1. 
   
2. 省    市   供应商   大小
   
3. 广东 惠州 电信 55532

复制代码

我自己写的

1. head -10000 flog.log | awk '{print $1,$10}'  | nali | awk -F '[[ ]' '{if(match($2,/省/)>0){if(substr($2,match($2,/省/)+1,2)){print  substr($2,0,2),substr($2,match($2,/省/)+1,2),$3,$4}else{print substr($2,0,2),substr($2,0,2),$3,$4}}else{print substr($2,0,2),substr($2,0,2),$3,$4}}' |  awk '{if(NF<4){print $1,$2" 其他 "$3}else{if($3~/电信/){print  $1,$2" 电信 "$NF}else if($3~/铁通/){print $1,$2" 铁通 "$NF}else if($3~/联通/){print  $1,$2" 联通 "$NF}else if($3~/网通/){print $1,$2" 网通 "$NF}else if($3~/移动/){print $1,$2" 移动 "$NF}else{print $1,$2" 其他 "$NF}}}' > b.txt

复制代码

能达到效果 ，就是效率 差的我 不忍直视，各位大牛看能不能给改下。，或者 介绍个别的方法。小弟 道术不精，莫嘲讽

处理前的文本其实 是 日志 ，像 apache什么的 。日志 根据 空格截取，其中 $1是  ip $10是访问大小 ，我先 awk取出 $1和 $10然后 用 nali命令 获取ip归属地 ，然后的到

1. 180.213.33.16[天津市 电信] 167

复制代码

处理后我要得到

1. 
   
2. 省    市  供应商 大小
   
3. 天津 天津 电信 167

复制代码

我上边自己写的能达到效果 就是处理上万 条太差，各位大牛看能不能给改下。，或者 介绍个别的方法。小弟 道术不精，莫嘲讽

reyleon

X-Y Problem http://bbs.chinaunix.net/thread-4118053-1-1.html

无法直视..

Herowinter

回复 1# sihouzhao

资质有限，从代码逆推需求对我太难。
楼主能科普下从这个文本

1. 01.61.165.255.92 - - [28/Jun/2014:09:00:00 +0800] "GET http://download.****.com/url/Hh_40.png HTTP/1.1" 200 88025 "-" "Dalvik/1.6.0 (Linux; U; Android 4.3; GT-I9500 Build/JSS15J)" TCP_REFRESH_UNMODIFIED:FIRST_UP_PARENT download.****.com

复制代码

计算对应的省 市 供应商 大小的算法吗？
   

sihouzhao

回复 4# Herowinter

添加了点信息。 帮我看下 。。


   

Herowinter

回复 5# sihouzhao

我在家里，明天有空帮你看吧，但我电脑应该没装nali，
还有由天津市得到天津省这个是查什么的？
   

sihouzhao

回复 6# Herowinter
由省 能得到 每个省的 量 ，还可以 精确到 某个市的量


   

Herowinter

回复 7# sihouzhao

没有nali，表示无法尝试，如果楼主能提供个执行到这个步骤的
中间结果文件表示可能还可以看一下。
head -10000 flog.log | awk '{print $1,$10}'  | nali

sihouzhao

回复 8# Herowinter

用 nali处理 后 大致 就是 ip+归属地 +访问 大小，就像这样

1. 123.195.159.188[台湾省台北市 亚太电信集团公司] 93465

复制代码

我就像 得到

1. 台湾 台北  电信    93465

复制代码

Herowinter

回复 9# sihouzhao
不好意思，我可能最近一段时间都没环境写代码了，帮你顶上去吧，
有nali的结果得到你想要的不是很难，肯定有人帮你做的。

把"xx省xx市"这个字符串分成两个，然后查找一下后面的字符串里是
包含“移动”、“联通”、“电信”中的哪一个。