忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 2730 | 回复: 0

GitLab删库300G事故敲响警钟,如何寻求专业的数据保护机制? [复制链接]

论坛徽章:
0
发表于 2017-03-04 21:29 |显示全部楼层
2月2日,当我们依旧在享受春节假期的时候,却不知大洋彼岸的Gitlab经历了一次惨痛的运维事故。

一位操作员为解决一个恶意攻击的问题,在工作到深夜并极度疲劳的状态下,误删除了主数据库的数据!在这位操作员意识到问题并立刻终止了移除文件夹操作,但是已经太迟了——300GB的文件只剩下4.5GB。

Gitlab随后试图通过可用的备份文件用于恢复生产环境时,他们发现,采用的五种备份方式居然鬼使神差地在这一刻都失效了!最终导Gitlab官方网站宕机长达十个小时。

虽然Gitlab最终挽回了部分损失,但仍然丢失了6个小时的数据。

非常值得尊敬的是,Gitlab官方在youtube上直播了的整个恢复过程,为所有的IT运维人员敲响警钟:自己的运维情况如何?如果这件事情发生在自己身上,会不会做得更好?

GitLab使用的五种备份机制分别是:
· LVM快照(24小时做一次);
· 日常备份(24小时做一次);
· S3备份;
· Azure备份(只对 NFS 启用,对数据库无效);
· 自动同步;

但是当这次事故发生时,所有备份全部无效!作为一个在数据保护领域工作多年的老司机,这件事引起了我强烈的兴趣。究竟写备份是如何失效的?对其他数据库管理者,通过这件事情,我们能学到什么?

首先,Gitlab将LVM的复制周期设置为24小时。作为一个防止误操作的屏障,这个周期明显太长了。但是好在这个备份副本具有比较高的可靠性,在实在没办法的时候还可以指望得上。实际上Gitlab最后就是利用了LVM的复本对数据实现了恢复。这本应是最终的一道屏障,事实证明,却是可用的唯一屏障。

日常备份也是24小时进行一次,但最后却发现日常备份实际上并没有生效。笔者认为,这里的日常备份指的是Gitlab官方提供的命令行脚本,每天打包一次。很多数据库高手貌似都喜欢使用命令行脚本,但是,一个备份作业是否完成是需要反馈的。命令行指令没有完成的反馈,很容易就淹没在各种交互信息里了,谁也不知道这个日常备份已经有多久没有执行了。另外,如果如推测所言,这个备份只能保护数据库本身,对整个计算系统是没有保护的。

原文还提到了基于数据库的pg_dump命令的备份,但是因为数据库版本的问题,已然失效。

Gitlab利用Azure进行备份,但是备份只针对了NFS服务器而没有针对数据库服务器。原文还提到了一个不能用的S3备份却没有说明原因,此处不作分析。

管理员们还急中生智,想利用一个往预发布环境同步数据的同步程序来恢复数据,但是同步
一旦完成,这个空间自动就清空了。这根本就不是,也不应该是一个数据备份机制的一部分。

这就使我们想到,基于磁盘的、新一代备份与容灾一体化解决方案飞康CDP,能够帮客户将文件/数据库/操作系统实现实时备份与瞬间恢复,可以在系统出现问题时迅速将数据恢复到数分钟以前,这极大地保证了业务的连续性,同时避免出现Gitlab事故中的因备份恢复延迟导致大量数据丢失的现象。可以对内部数据中心和外部云进行统一管理,充分利用外部云的高性价比,并可以轻松在云间灵活跳转,实现更高的性价比和灵活性。
备份/容灾一体化解决方案,真正以快速恢复服务为第一目标。无论用户的应用或者系统乃至数据中心发生何种意外,在全面保护下,都能最大程度地保证企业数据损失(RPO)降到最低,业务中断时间(RTO)最短。最后,一体化的备份/容灾技术,使任何灾难的发生都不再是致命的,用户很轻松就能获得备份和容灾的双重效果。
从数据库管理员的角度来看,从此次事件中得到的教训包括:
1
、让你的备份机制能够主动反馈结果,管理员必须能够至少知道备份是成功还是失败;
2、让你的备份机制能够完整覆盖数据库和文件系统以及整个计算环境,而不是仅仅针对数据库本身;
3、经常演练。上面列举的第二、第三和第四个备份方式可行不可行,哪怕只进行过一次演练就应该发现漏洞;
4、 做一个应急预案。在这次事故中看到Gitlab的响应和修复措施几乎无章可循,完全没有事先的规划和设计。

从数据保护的专业角度看,虽然Gitlab号称采用了五种备份机制,但是仔细看来,却显业余。鉴于此次已经发生的Gitlab事故,以及未来即将发生的“Gitlab”事故,企业和网站应该好好思考:自己的数据库是否安全、其数据保护和容灾机制是否健全

您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP