忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT 徽章 文库 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 2603 | 回复: 5

关于dump和load的速度优化问题 [复制链接]

论坛徽章:
2
2015年辞旧岁徽章
日期:2015-03-03 16:54:15数据库技术版块每日发帖之星
日期:2016-07-21 06:20:00
发表于 2016-11-23 16:45 |显示全部楼层
各位大神好!请教个sybase的问题,我这边有个sybase12.5的数据库,服务器的硬盘读写速度测过能到一百多两百兆每秒,但是我再做sybase的dump和load的时候,读写只有30M/s左右,90G的库,80G的数据,load在50分钟,dump在四十多分钟,请问可有什么优化的办法?因为之前新装过一个服务器,硬盘读写也是在两百多兆每秒,64G内存,两颗6核cpu,dump速度大概在四五十兆每秒,load速度最快能到六七个G每秒,一般在4G/s,但是后来装过一些性能更好的服务器,却没有这么快的load速度,比对过SYBASE。cfg配置,也没什么改善,所以来请教下各位,麻烦指教。还有是否可以讲讲dump和load的机制,我好研究一下。

论坛徽章:
7
数据库技术版块每日发帖之星
日期:2015-08-09 06:20:00数据库技术版块每日发帖之星
日期:2015-11-03 06:20:00数据库技术版块每日发帖之星
日期:2016-02-20 06:20:00数据库技术版块每日发帖之星
日期:2016-07-13 06:20:00数据库技术版块每日发帖之星
日期:2016-07-31 06:20:00数据库技术版块每日发帖之星
日期:2016-08-01 06:20:00数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
发表于 2016-11-24 15:03 |显示全部楼层
dump是对db device做压缩之后输出的,IO速度肯定不可能达到disk direct IO 速度,
如果想优化,建议用stripes 做并发dump,就能快了

论坛徽章:
6
水瓶座
日期:2014-06-04 03:34:37水瓶座
日期:2014-06-17 13:20:31数据库技术版块每日发帖之星
日期:2016-07-09 06:20:00数据库技术版块每日发帖之星
日期:2016-07-17 06:20:00数据库技术版块每日发帖之星
日期:2016-08-01 06:20:00数据库技术版块每日发帖之星
日期:2016-08-04 06:20:00
发表于 2016-11-25 12:58 |显示全部楼层
你说的两个场景,dump速度都是40M/S左右,这个考虑优化:
1、用sp_dumpoptimize调整转储阀值;
2、使用stripe分片转储到多个备份文件;
3、使用最小的压缩级别或者不压缩备份文件。
关于load的速度,曾经达到G/S的速度,可能是目的数据库空间大于源数据库,load进程在执行超过源库大小空间部分的分配工作。
sybase初始化空间的时候以allocation为单位,如果2K页的话,每次0.5MB,我认为仅仅会写每个allocation的第一个页面。这样可以认为速度会提高200倍。
200*40M=8G/S
这仅仅是粗略计算而已。

论坛徽章:
2
2015年辞旧岁徽章
日期:2015-03-03 16:54:15数据库技术版块每日发帖之星
日期:2016-07-21 06:20:00
发表于 2016-11-30 10:05 |显示全部楼层
回复 3# andkylee

谢谢回复,请问你说的三个可以优化dump的方法我都没有做过,可否再稍微具体说下怎么做?load达到4G/S的那个数据库大小和源数据库是一样的,只是个灾备,在一些比源数据库大的目的数据库里我做过load,似乎时间也没太缩短,另外关于load的优化,可有什么建议。

论坛徽章:
2
2015年辞旧岁徽章
日期:2015-03-03 16:54:15数据库技术版块每日发帖之星
日期:2016-07-21 06:20:00
发表于 2016-11-30 10:07 |显示全部楼层
回复 2# Eisen

我不知道其他人遇到的dump速度大概是多少,至少觉得40M/S的速度有点慢了。

论坛徽章:
7
数据库技术版块每日发帖之星
日期:2015-08-09 06:20:00数据库技术版块每日发帖之星
日期:2015-11-03 06:20:00数据库技术版块每日发帖之星
日期:2016-02-20 06:20:00数据库技术版块每日发帖之星
日期:2016-07-13 06:20:00数据库技术版块每日发帖之星
日期:2016-07-31 06:20:00数据库技术版块每日发帖之星
日期:2016-08-01 06:20:00数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
发表于 2016-11-30 14:09 |显示全部楼层
y3733 发表于 2016-11-30 10:07
回复 2# Eisen

我不知道其他人遇到的dump速度大概是多少,至少觉得40M/S的速度有点慢了。

40MB/s确实慢了...首先应该检查dump时是否还有其他应用在这个db上做操作,然后检查是否已经执行过了checkpoint,然后看device file的grouping情况。这些都会影响dump的效率。
但是有一点是必须注意的: dump速度是不能用load速度来衡量的,因为dump是做条带压缩,而load是解压缩并且常会如andy所说那样通过写meta header来跳过很多block的写入。

所以可比较的是用dd -direct 来测storage的写入速度,然后尽量将所有device都做成storage连续段。

您需要登录后才可以回帖 登录 | 注册

本版积分规则

DTCC2018购票6.8折优惠进行时

中国数据库技术大会是国内数据库及大数据领域规模最大、最受欢迎的技术交流盛会。 2018年5月10-12日,第九届中国数据库技术大会将如约而至。本届大会以“数领先机•智赢未来”为主题,设定2大主会场及20个技术专场,邀请来自国内外互联网、金融、教育等行业百余位技术专家,共同探讨Oracle、MySQL、NoSQL、大数据等领域的前瞻性热点话题与技术。
----------------------------------------
优惠时间:2018年2月13日前

报名链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP