【已解决】mysql从库备份时用tar打包使iowait高的问题求教！

sex333

HI,
   各位大佬。
   最近十一长假Mysql从库出现了问题。
   从库每天夜里1点跑全备份mysqldump，之前都正常，1小时搞定dump+tar。现在竟然到4 5个小时，而且在十一的时候报服务器down的报警，早上爬起监控过，发现是在tar *.sql的时候，服务器iowait平均在20%左右，负载到8以上，故当硬盘无反应后，ssh失败，cacti的snmp也报db is down。
   然后再网上查了下资料，尝试了用ionice调试优先级，c2 n0---n5都试过，问题依旧。
   求大侠指点方法，没有用过其他的打包命令，因为另外一台dell的新服务器上，数据更大，但是毫无压力。当然再不考虑更换硬件的前提下，解决这个麻烦的事情，要不每天早上报警真的会崩溃的。。。

沃趣科技

之前一直没有问题吗？出问题前做了什么事情列？
磁盘空间怎么样？
系统是不是当时用到了swap，导致大量内存交换到磁盘中去了。
另外，最简单的办法时，你考虑备份到异地，在异地进行tar，这样就不会影响数据库本身的服务了。
正常的备份也是需要备份到异地的，避免影响数据库本身IO并且就算数据库主机坏了，备份也不会丢失

sex333

感谢回复，这台从库很少动过，之前一直很正常，虽然机器不给力。
用异地的话网络是个瓶颈，每天全备的数据量可不少，打完tar后将近10G，不打包所有的.sql有个几十G应该，要是都走网络到异地的话，貌似有点费劲。
现在被这个问题搞的我都得慢性疲惫综合征了。。。救命！回复 2# 沃趣科技


   

小版主杀手

不考虑硬件，备份时一次打少量数据的包，一次次来吧

sex333

囧了，大侠，我已经肾疼了。。回复 4# 小版主杀手


   

chinafenghao

@沃趣科技
@sex333

woqu分析的相当清楚。tar会占用大量内存，导致mysql使用swap空间。如果空间个，可以考虑dump出来就不要压缩了，然后循环删除老的备份，添加新的备份。或者就是备份到异地在tar

沃趣科技

另外，如果是Linux可以设置一下系统参数，再/etc/sysctl.conf里面加上vm.swappiness = 0，尽量减少swap

sex333

真心感谢大侠，今晚试试看如何，继续提问，如果修改了优化参数，貌似要重新启动服务器才能生效吗？哦，sysctl vm.swappiness=0貌似先可以用着。
OK，看今晚如何了，正式环境重启会有问题，继续肾疼中。。。。回复 7# 沃趣科技


   

zhangshengdong

如果空间够的话，备份脚本里面，就不压缩了。通过删除以前的数据备份文件(留三天)

在预留出一台服务器，专门当备份机，把备份的数据推送到备份机中再压缩，这个可以保留(半个月到一个月，看环境决定)

sex333

嗯，这个考虑过，目前暂时没有空余的服务器，我这台从库是每天夜里1点全备，然后tar打包*.sql,最后做判断保留最近5天的tar包，另外的dell R710毫无压力。。
修改完毕后要RUN个几天看看，夜里有没有再次报警和看监控图像来分析是否堵塞网络。感谢大大的回复。回复 9# zhangshengdong