免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2089 | 回复: 0

基于BeansDB+纯真IP库的高性能IP转换系统 [复制链接]

论坛徽章:
0
发表于 2011-04-11 13:39 |显示全部楼层


最近几个项目都用到了IP到城市转换功能。

之前,每个项目都是直接在纯真IP库里查。

可是现在数据量大了,越来越发现效率成问题了。

前一阵子看到豆瓣的开源项目BeansDB,当时直觉就告诉我,这东西非常有用。

抽空在测试机上搭建了一下环境,测试了一小把,感觉速度提高了很多。

立马把IP转换部分代码改成里基于BeansDB的。转换之后的架构如左图。

流程如下:

以IP为Key,在BeansDB中取值。
若第一步返回不为空,直接返回取回的值,流程结束。
若第一步返回为空,则以QQWry为Key,取回QQWry.Dat文件的二进制文件
按传统方法在第三步取回的QQWry.Dat二进制文件中查找IP对应地址信息
将第四步查找到的地址信息,以IP为Key,存进BeansDB中,并返回第四步查找的地址信息。
看着挺复杂,实际的代码改动非常之小。

继承原来IP转换类
重载初始化函数,以QQWry为Key在BeanDB中取值,若返回值不为空,则self.img置为返回值;若为空,将QQWry.Dat读到内存,以QQWry为Key,QQWry.Dat的二进制镜像为Value存到BeansDB中。
重载IP查找函数,按上面的逻辑处理IP查询。


从一个应用中依次取十万条记录,取五次,IP转换的耗时(不包括数据操作的时间)如下:

0:00:09.034996

0:00:07.834779

0:00:07.965700

0:00:08.016297

0:00:07.976602

另:写文章的同时,又做了一个100W条数据的转换测试,结果:0:01:45.109918

BeansDB只有一台机器提供服务,跟应用跑在同一台机器上。

这个结果目前来说还是比较满意的,应该还有继续优化的空间

但这已证明了BeansDB性能还是非常可观的。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP