【大话IT】由炉石传说数据库事故说起！你的数据如何备份？(获奖名单已公布)

action08

社区评论不少，有人吼163做事做人要多学学暴雪大神
也有人直接吼大神下次出事情，请提前通知（领取补偿）

qingduo04

先说说官方给的电力问题的解释

如果归因在电力问题，那可以解释过去，不过也存在一些问题，先说说解释的问题

1.  电力故障是机房中最严重的故障问题，不仅仅涉及到数据库，同时涉及到其他的业务，比如前台访问均出现问题，并且由于机房电力故障，对于正在高速读写的存储来说灾难性比较大，
这也就造成了，数据可能会丢失。
     举例：我们机房原来发生过一个机柜出现断电，造成数据库对应的部分数据变成不可读，好在是OLAP系统，数据可以再生成，影响不大。

2.  由于异常断电，可能灾备会出现问题，数据没有及时同步过去，造成数据丢失，同时如果没有灾备，数据绝对就会丢失了，但是灾备和生产是在一个机房么？ 这是需要考虑的？


除官方给的说明外，我觉得也有几方面造成这样的问题
1. 数据被误操作，包含灾备的数据，同时被误操作。
2. 数据容灾或者备份不到位，真正要启动备份，发现根本不可行。
...................

lsstarboy

１、断电就造成这么大伤害，这系统也应该背点锅才对，包括操作系统、文件系统、数据库系统，断电可以出现异常，丢部分数据也是正常的，但是大批量丢失数据肯定是不正常的。

２、备份和主库同时损坏，这种机率应该比彩票中奖还小，除非……有人为因素。

３、备份和主库放在同一机房？这就不仅仅是技术问题了，领导就根本不拿数据当财富！

４、对于在线的热备，主库坏了，备份库应该马上能接手，但是如果主库被黑了，或者主库出错了，那么热备的库肯定也是完蛋——是不是我想多了？不针对任何人哦！

５、从网易发的声明中有点困惑，回滚的时间为出现问题的时间，然后说有人需要重新练，也就是说，数据库故障后，游戏仍在继续，但是数据没法入库了，那么结论就是：游戏数据不是实时入库，并且数据缓存没有持久化的功能——这种情况跟现在的技术好像不点不搭，我一直认为这方面的技术已经比较成熟了。

forgaoqiang

祸不单行 不管是gitlab的五层备份 还是各家公司的各种吹的牛，在事故面前都是纸老虎

先解读下官方说明：
我们看到这个破壳而出的Robot甚至牛X，故障发生在1月14日（东八区）的下午3点20分，当时也不是什么阴谋就给数据库供电的电没了，然后数据就损坏了。
当时维护人员就上去搞，发现不管是二进制日志还是啥的都不好使，主数据库宣告正式阵亡。
于是团队找了备份君顶上去，不知道什么原因备份君也不给力，一起跟着歇菜了（比较奇怪，备份君为啥会也跟着歇菜呢）
没办法只能继续回溯，找更早的备份君顶上去。

于是和当年腾讯QQ一样做了个艰难的决定，把大家的数据都丢了吧，回炉重造（毕竟是炉石嘛，可以重头练）
当然大家的损失我们还是要补偿的，比如每个人添加点数据进去（要真金白银那是肯定不行的，当然我们回头开个会决定下给多少）





故事情节大概就是上面说的吧，于是问题就来了：

炉石传说，这可是炉石传说啊，直播都排名前几的超级火的游戏，那哗哗的氪金玩家的银子那是流淌个不停，运维肯定是最顶尖的，服务器和设备也是最好的，当然供电和空调肯定也是必备的，只是出了点问题：
首先电源不知道为什么没了（如果真是电源没了的话），物理安全存在问题。
当然不就是没电了么，上电后继续跑呗，额 跑不动了，系统损坏了，已经和windows和linux还是unix无关了，总之数据是不对了
当然这都是小事，旁边不还是有个slave等着么，他整天想着翻身把歌唱，只是继续咸鱼了
先不说主服务器那么容易歇菜，问题是备份服务器为什么也会跟着一起歇菜，不是没做好就是有人做的太好

总之吧，这事就是个教训，肯定没有检查过备份君的情况，估计他一直没有好好干活

laputa73

这类大型游戏，估计数据库都是集群，做了切片处理。
停电之后数据库损坏，这个可以理解，主备库可能在同机房。电信的idc机房都时不时来一次全区域掉电。游戏数据库，估计也不可能做到异地容灾。
只能使用之前备份的镜像+停电前的事务日志进行恢复。
如果等到恢复之后再开服，应该问题不大。
但是如果带病运行，不同服务器间的数据一致性就会被破坏，无法恢复。

C.O.B

1.首先确认通过此类事故，用户关键业务的RTO、RPO要求是多少？
2.其次需要确认用户的环境信息，什么数据库，版本信息，运行在什么平台，物理机还是虚拟机？
了解了这些大致状况，才能给用户推荐合适的方案。当然，方案也是基于预算的。
备份方案的RTO和RPO毕竟是有限的，满足不了的情况下就应该考虑关键业务的本地双活了，那就是另外的话题了。

fengzhanhai

回复 1# 王楠w_n
主题错了

Fl_wolf

个人觉得，他们给出的是备份数据不能恢复
这个是有可能的，但是有数据库备份权限的用户全备不可能不检查的吧
有可能只备份了数据结构？ 还是什么，也有可能备份的管理员换了个人，导致出了问题。
这些很难说，也有可能是恶意删除。的原因，说不准。
不过还是警醒运维人员，数据要多备份，每个月要查看一次备份数据是否正常。

forgaoqiang

感觉备份可能是做了 但是至于能不能用 只能在主数据不能用的时候才知道了

七彩山楂树

hellioncu 发表于 2017-01-23 09:39
说是1.14 15:20停电导致数据库损坏，备份也坏无法恢复，后面又说回档到1.14 15:20的状态，那就是说停电并没 ...

我也留意了