忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 1114 | 回复: 5

关于dump和load的速度优化问题 [复制链接]

论坛徽章:
2
2015年辞旧岁徽章
日期:2015-03-03 16:54:15数据库技术版块每日发帖之星
日期:2016-07-21 06:20:00
发表于 2016-11-23 16:45 |显示全部楼层
各位大神好!请教个sybase的问题,我这边有个sybase12.5的数据库,服务器的硬盘读写速度测过能到一百多两百兆每秒,但是我再做sybase的dump和load的时候,读写只有30M/s左右,90G的库,80G的数据,load在50分钟,dump在四十多分钟,请问可有什么优化的办法?因为之前新装过一个服务器,硬盘读写也是在两百多兆每秒,64G内存,两颗6核cpu,dump速度大概在四五十兆每秒,load速度最快能到六七个G每秒,一般在4G/s,但是后来装过一些性能更好的服务器,却没有这么快的load速度,比对过SYBASE。cfg配置,也没什么改善,所以来请教下各位,麻烦指教。还有是否可以讲讲dump和load的机制,我好研究一下。

论坛徽章:
7
数据库技术版块每日发帖之星
日期:2015-08-09 06:20:00数据库技术版块每日发帖之星
日期:2015-11-03 06:20:00数据库技术版块每日发帖之星
日期:2016-02-20 06:20:00数据库技术版块每日发帖之星
日期:2016-07-13 06:20:00数据库技术版块每日发帖之星
日期:2016-07-31 06:20:00数据库技术版块每日发帖之星
日期:2016-08-01 06:20:00数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
发表于 2016-11-24 15:03 |显示全部楼层
dump是对db device做压缩之后输出的,IO速度肯定不可能达到disk direct IO 速度,
如果想优化,建议用stripes 做并发dump,就能快了

论坛徽章:
6
水瓶座
日期:2014-06-04 03:34:37水瓶座
日期:2014-06-17 13:20:31数据库技术版块每日发帖之星
日期:2016-07-09 06:20:00数据库技术版块每日发帖之星
日期:2016-07-17 06:20:00数据库技术版块每日发帖之星
日期:2016-08-01 06:20:00数据库技术版块每日发帖之星
日期:2016-08-04 06:20:00
发表于 2016-11-25 12:58 |显示全部楼层
你说的两个场景,dump速度都是40M/S左右,这个考虑优化:
1、用sp_dumpoptimize调整转储阀值;
2、使用stripe分片转储到多个备份文件;
3、使用最小的压缩级别或者不压缩备份文件。
关于load的速度,曾经达到G/S的速度,可能是目的数据库空间大于源数据库,load进程在执行超过源库大小空间部分的分配工作。
sybase初始化空间的时候以allocation为单位,如果2K页的话,每次0.5MB,我认为仅仅会写每个allocation的第一个页面。这样可以认为速度会提高200倍。
200*40M=8G/S
这仅仅是粗略计算而已。

论坛徽章:
2
2015年辞旧岁徽章
日期:2015-03-03 16:54:15数据库技术版块每日发帖之星
日期:2016-07-21 06:20:00
发表于 2016-11-30 10:05 |显示全部楼层
回复 3# andkylee

谢谢回复,请问你说的三个可以优化dump的方法我都没有做过,可否再稍微具体说下怎么做?load达到4G/S的那个数据库大小和源数据库是一样的,只是个灾备,在一些比源数据库大的目的数据库里我做过load,似乎时间也没太缩短,另外关于load的优化,可有什么建议。

论坛徽章:
2
2015年辞旧岁徽章
日期:2015-03-03 16:54:15数据库技术版块每日发帖之星
日期:2016-07-21 06:20:00
发表于 2016-11-30 10:07 |显示全部楼层
回复 2# Eisen

我不知道其他人遇到的dump速度大概是多少,至少觉得40M/S的速度有点慢了。

论坛徽章:
7
数据库技术版块每日发帖之星
日期:2015-08-09 06:20:00数据库技术版块每日发帖之星
日期:2015-11-03 06:20:00数据库技术版块每日发帖之星
日期:2016-02-20 06:20:00数据库技术版块每日发帖之星
日期:2016-07-13 06:20:00数据库技术版块每日发帖之星
日期:2016-07-31 06:20:00数据库技术版块每日发帖之星
日期:2016-08-01 06:20:00数据库技术版块每日发帖之星
日期:2016-08-18 06:20:00
发表于 2016-11-30 14:09 |显示全部楼层
y3733 发表于 2016-11-30 10:07
回复 2# Eisen

我不知道其他人遇到的dump速度大概是多少,至少觉得40M/S的速度有点慢了。

40MB/s确实慢了...首先应该检查dump时是否还有其他应用在这个db上做操作,然后检查是否已经执行过了checkpoint,然后看device file的grouping情况。这些都会影响dump的效率。
但是有一点是必须注意的: dump速度是不能用load速度来衡量的,因为dump是做条带压缩,而load是解压缩并且常会如andy所说那样通过写meta header来跳过很多block的写入。

所以可比较的是用dd -direct 来测storage的写入速度,然后尽量将所有device都做成storage连续段。

您需要登录后才可以回帖 登录 | 注册

本版积分规则

10张SACC2017门票等你来拿~

在数字化转型时代,云已成为万物智能的数字化大脑。而随着大数据应用、人工智能、移动互联网等技术的飞速发展,“智慧 +” 的概念正在深入到各行各业,提升企业效率,释放商业潜能,创造全新机遇。作为国内顶级技术盛会之一,2017 中国系统架构师大会(SACC2017)将于 10 月 19-21 日在北京新云南皇冠假日酒店震撼来袭。今年,大会以 “云智未来” 为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置 2 大主会场,18 个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100 余位技术专家及行业领袖来分享他们的经验;并将吸引 4000 + 人次的系统运维、架构师及 IT 决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年10月19日前

活动链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP