meiyuhan
发表于 2013-04-21 06:56
说的不错!
action08
发表于 2013-04-21 15:54
没有类似的业务经验啊,不过估计目前公司貌似不会涉及到地域容灾的问题,,
一切还是看投入哦
边-城
发表于 2013-04-22 19:23
本帖最后由 边-城 于 2013-04-23 09:36 编辑
作为存储备份出身的,我谈一下我对这个问题的理解
1、如果您已经面对大数据带来的备份问题,您是如何解决的?
1) 以前的备份模式
话说十年前,搭建一套切实有效的数据备份系统还不是一些中小企业考虑的问题,只有一些大企或者有重要数据的企业才会考虑花大价钱搞一套可用的备份系统。但是随着信息化的发展,数据成为一个企业最重要的财富,而且企业或者个人对信息化系统的可用性和稳定性提出了越来越高的要求。数据备份成为一个信息化企业比较关注的问题。早期的备份主要依赖于磁带备份,因为早起的磁盘价格昂贵,磁带价格便宜而且容量大,大部分的企业会选择购买一台磁带库,外加备份软件,以LAN方式进行数据备份。LAN方式备份数据流通过网络写入磁带库,适用于数据量不是很大的环境。
2)目前主流的备份架构和技术
随着数据量的增大,目前很多企业开始使用LAN-FREE架构进行备份,比如SAN架构。SAN架构的备份优势明显,无论在速度上还是在减少对LAN的负载上,不过成本也比较高。而且随着磁盘技术的发展和磁盘价格的降低,像虚拟磁带库这些新的备份设备发展的很快。我们有超过50%的客户在使用VTL。对于有大数据量的企业,往往采用SAN+LAN+磁带库+VTL+备份软件的混合的模式进行备份,核心大数据采用SAN+VTL备份,边缘数据可能会采用LAN+磁带库,当然也有企业会先把数据备份到VTL,然后再备份到磁带库,方式有很多,根据需求定架构。
3)我对大数据备份的理解
备份的最终目的是能够保证业务的连续性,而保证业务连续性的方法却不止备份一种。如果只采用传统的方式备份,压力会很大,但不是不可以。
方式一 通过传统备份来保护大数据
我们可以采用传统的备份方式来备份大数据,但是需要引进一些新技术,否则的话备份会成为一件很困难的事。(1)首先,需要确定一个备份架构。备份架构的确定主要根据需求来定,并兼顾功能、成本等其他因素。通常来看,备份大数据SAN架构是少不了的,SAN架构不会对网络构成压力,并且速度较快。(2)选取备份介质。对于大部分的LAN-FREE备份系统,备份介质往往都是瓶颈,我们可以选择速度更高的备份设备来备份大数据。比如VTL。(3)选择一款性能良好的企业级备份软件,比如EMC networker、NBU等。(4)关于大数据的存放。备份速度能提上去,但容量未必够用。可以考虑采用备份的源端或者目标端采用重复数据删除功能。在源端,目前有很多备份软件提供在服务器上进行重复数据删除,这样备份到备份设备的数据量会少很多,但是这样会消耗主机的资源,尤其是CPU资源。在目标端,大部分的VTL具有重复数据删除的功能,关于去重,我觉得VTL的去重是首选。(5)备份策略。对于小数据系统的备份,备份策略的设置有很多选择,因为数据量小,即便是每天全备份,任务也能完成。但是对于大数据,貌似得好好斟酌一下备份策略,既需要参考企业RPO和RTO的目标,又要考虑备份窗口的大小,也要结合备份架构和备份环境,几者之间做一个平衡。为了减少对备份系统的压力,我的常用的策略就是:分而备之,当然前提是如果能分开的话。(6)关于恢复演练。备份的目的是为了恢复,所以需要定期恢复演练,大数据备份之后往往很难搭建恢复演练环境,所以恢复演练很难实施,但是如果备份无法成功恢复,备份有啥用,所以演练很重要。我的很多客户就愿意大大价钱构造演练环境,因为他们知道演练很重要。
方式二 通过其他手段来保护大数据
如果数据量大到无法实施备份了,比如超过了几十T或者更多,可以采用其他办法进行备份。这个就需要结合自己的系统环境了,但是总体可以从数据库、应用、存储等几个层面进行。比如数据库层面,如果底层采用了oracle数据库,可以考虑采用oracle自带的DG功能。应用层面,可以采用第三方的工具实施备份。存储层面,可以采用存储复制相关的技术,比如IBM的remote mirror。
目前我们公司备份采用NBU+磁带库+SAN方式,同城容灾采用赛门的VVR+oracle goldengate。
2、如果您还在对您的大数据灾备解决方案进行选型,你理想中的大数据灾备解决方案有哪些特色?
1)容灾解决方案需要具备可用性、安全性
2)容灾方案需要是灵活的,能结合自己的环境实施
3)还会考虑价格因素
tech坦克
发表于 2013-04-24 22:44
次奥。。。CU的人气说来也差了好多。一些活动只能靠延长时间来积累回复数量,悲哀啊。
“活动时间:2013年3月29日-5月15日”
send_linux
发表于 2013-04-24 23:29
tech坦克 发表于 2013-04-24 22:44 static/image/common/back.gif
次奥。。。CU的人气说来也差了好多。一些活动只能靠延长时间来积累回复数量,悲哀啊。
“活动时间:2013年 ...
话题也分冷暖的嘛,现在论坛不都这样么,兄弟能找个讨论这种话题很火爆的社区么,我们也去学习学习。
现在交流的途径太多啦
liuxiaoyin666
发表于 2013-04-25 14:11
本期话题:
1、如果您已经面对大数据带来的备份问题,您是如何解决的?
oracle数据库,主机结构采用rac加双机,每N天一次全备,没M小时一次归档日志备份,使用RMAN,备份到磁带库
2、如果您还在对您的大数据灾备解决方案进行选型,你理想中的大数据灾备解决方案有哪些特色?
不唯一,备份集合不能是唯一的,存储方式不唯一
根据恢复过程的不同,制定不一样的备份方式
多套系统并行运行,一套发生故障不会产生业务中断,只是加重其他系统的压力
缺点就是冗余多大,成本太高。
shreychen
发表于 2013-05-06 17:35
hadoop/hdfs 目前应用已经很广泛了,云存储云备份是趋势。不过最终数据都是存在硬件里,硬件上还是要做一定的保障的,比如说raid啥的。
meego2012
发表于 2013-05-09 15:15
灾难备份并不是一个新的话题,容灾在逐步进入实施阶段,关注容灾的不仅仅是金融、电信等行业客户,政府、企业甚至一些中小企业客户也开始讨论容灾,而容灾项目也由对灾难的预防转为重点保障业务连续性。
meego2012
发表于 2013-05-09 15:15
seesea2517 发表于 2013-03-29 17:55 static/image/common/back.gif
咱小数据就不说啥,只说理想吧:快、稳、安。
快速:备份快,恢复快
稳定:备份容易,流程变动少,数据不 ...
小公司没啥可备份的哈,财务的两套账倒是要备份一下:luya:
meego2012
发表于 2013-05-09 15:16
wolfop 发表于 2013-04-02 19:18 static/image/common/back.gif
宕机用容灾解决,这TMD谁的馊主意。
除了911或者地震才是真的是DR解决问题,有几个业务连续性的问题真的应 ...
老大好犀利,不过现在地震还真是常事啊,再说上这么高规格的业务连续性保障体系的,有几个是缺钱的啊?