免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3417 | 回复: 1

[Redis] Redis2.6新功能预告:aof性能提升 [复制链接]

论坛徽章:
0
发表于 2012-02-16 19:46 |显示全部楼层
Redis2.6新功能预告:aof性能提升






在2.4版本中,Redis对很多命令引入了批量参数的功能,这可以让我们一次连接一个操作就操作多个值。这些功能可能你已经用上了,但今天我们要讲一个在2.6版本中会推出的一个优化,aof文件rewrite和load的性能提升。

我们知道aof文件是纯文本形式的,里面存储的是Redis的文本协议内容。而在有了批量参数功能后。我们可以把批量参数的命令组合成一个命令,这样就能够减小aof文件的大小。其优点是显而易见的。比如我们在rewrite的时候,我们可以通过一条命令就把set,list,zset,hash的数据写完。load的时候也只需要一条命令就能执行完。

下面是Redis作者做的性能测试结果:

数据集如下:

TYPES
=====
string: 95480 (95.48%)   zset: 4469 (4.47%)       list: 48 (0.05%)
set: 3 (0.00%)可以看到,纯key-value的string类型占了绝大多数(95.48%),实际上能够被组织成一条批量命令的数据占比非常小。在这种不利于aof优化的情况下,测试结果如何呢?

对于aof rewrite操作:

•使用旧的aof rewrite方法:耗时 12 秒,aof文件大小 569 MB
•使用新的aof rewrite方法:耗时 9 秒,aof文件大小 479 MB
•而BGSAVE写rdb文件的:耗时 9 秒,rdb文件大小 344 MB
对于加载aof操作

•加载 RDB 文件时间:7.156 秒
•加载旧的AOF文件时间:15.232 秒
•加载新的AOF文件时间:12.589 秒
我们可以看到,相对来说性能提升在20%-30%之间,效果还是相当明显的。

下面再试一个好一些的情况,当数据全部是hash结构的时候,结果会怎么样呢。首先用下面的lua脚本向Redis写入100w个hash数据,每个hash数据包含16个属性

local i, j
for i=1,1000000 do
    for j=1,16 do
        redis.call('hmset','key'..i,'field:'..j,'value:'..j)
    end
end
return {ok="DONE"}对这100w数据进行上面的实验,得到如下的结果。

对于aof rewrite操作:

•使用老的aof rewrite方法:耗时 17 秒,aof文件大小 851 MB
•使用新的aof rewrite方法:耗时 10 秒,aof文件大小 440 MB
•而BGSAVE写rdb文件的:耗时 4 秒,rdb文件大小 158 MB
对于加载aof操作

•加载 RDB 文件时间:1.888 秒
•加载旧的AOF文件时间:31.946 秒
•加载新的AOF文件时间:17.512 秒
我们能够看到,相对于旧的AOF文件,新的方法在性能上接近50%的提升。而RDB文件的性能更是惊人。这是因为在2.4版本中,BGSAVE方法会将通过zipmap,ziplist等压缩结果直接作为value写入到dump文件,并不解析其结构,而我们上面的例子,100w hash数据,每个属性只有16个,所以全部都会采用zipmap进行压缩存储。这是RDB文件在性能上更高的原因。

无论如何,还是让我们期待2.6版本的新版AOF吧。

来源:antirez.com


论坛徽章:
0
发表于 2012-02-17 22:27 |显示全部楼层
谢谢分享
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时8.5折

【架构革新 高效可控】2020年6月4日~6日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP