关于将IP替换为国家地区的问题

闸北陆小洪

有文件1(目前大概10w条)：
uid                   ip
73570393        1919652233
117590132       460543982
117635182       2090914072
117593917       2018699552
117638967       2059534626
117704137       3061075640
117572478       607814676
117635183       1999081805
116518060       1971853825
117691520       1778608004
117663353       2079602722
117540571       1033171794
117071577       2099752338
117673867       1971853002
117710911       1971853833
117680596       3548912785
117663356       1948184791

文件2(其实就是IP库，大概13W条)：
ip_start            ip_end            country    province  city  isp
17039360        17039615        澳大利亚
17039616        17040383        中国    福建    电信
17040384        17040639        中国    北京    北龙中网(北京)科技有限责任公司
17040640        17055743        中国    福建    电信
17055744        17072127        中国    广东    电信

希望：将文件1中IP地址在文件2的ip_start和ip_end之间的country、province、city和isp拿过来


譬如：
117686575       18472503        中国    内蒙古  联通
117542440       18469522        中国    内蒙古  联通
117653309       18474402        中国    内蒙古  联通
117582839       18432091        中国    内蒙古  联通
117699940       18450654        中国    内蒙古  联通
117706223       18469084        中国    内蒙古  联通
117672423       18423258        中国    内蒙古  联通

我现在使用以下方法：
awk 'NR==FNR{a[$2]=$0;next} {for(ip in a) {if(int(ip)>=$1 && int(ip)<=$2) {print a[ip]"\t"$3"\t"$4"\t"$5"\t"$6}}}'  文件1 文件2


但是非常的慢，求解更快的方法~~

关阴月飞

回复 1# 闸北陆小洪


    目测LZ这种将IP换成数字的方法不太对头，
    例如：60.78.141.76  换成数字 607814176 是不严谨的，最好统一换算成这种方式：060078141076

闸北陆小洪

回复 2# 关阴月飞

ip的换算  是按照标准ip2long的方法换算的  这个没问题吧


   

jakieyoung

这种查询当然很慢了
我的做法是用一种语言（python，php……选择什么随你）把ip库读入内存，排序之后形成一个数组。
使用时，用2分查找，速度很快。每秒数万次查询没任何问题。
注：ip库中相邻的项如果country    province  city  isp都是相同的，就可以合并。

闸北陆小洪

回复 4# jakieyoung

这个方法我知道是可以的   只是我在寻找shell的方法   你懂的

   

cjaizss

闸北陆小洪 发表于 2013-04-07 12:46
有文件1(目前大概10w条)：
uid                   ip
73570393        1919652233

目测采用二分查找

expert1

回复 5# 闸北陆小洪


    二分法，不用想了，先sort,具体看本人blog,awk也能用二分法的。

expert1

http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=1800295
居然也是ip处理的，自己拷贝改动一下就可以了。

rdcwayx

借用楼上的代码。

1. awk 'FNR==1{next}
   
2.      NR==FNR {db[++i]=$0;next}
   
3.      { start=1;end=i;        
   
4.         while(start<=end)
   
5.         {  mid=int(start+(end - start)/2)
   
6.            split(db[mid], a)
   
7.            if ($2 < a[1])
   
8.               end=mid-1
   
9.            else if($2> a[2])
   
10.                      start=mid+1
    
11.                 else { print $0,a[3],a[4],a[5],a[6]
    
12.                        break }
    
13.         }
    
14.      }' file2 file1

复制代码

闸北陆小洪

感谢各位