Chinaunix

标题: 秀一下我们生产环境数据备份情况。 [打印本页]

作者: princeduan 时间: 2013-12-17 10:47
标题: 秀一下我们生产环境数据备份情况。
生产环境中数据的存储情况（使用带有重复数据删除、压缩功能的磁盘备份）。
请看红色部分

容量 24TB
系统空间 4.2TB (17.5%)
数据空间 178.5GB (0.7%)
奇偶校验&Meta数据空间 97.4GB (0.4%)
剩余空间 19.5TB (81.4%)
存储数据量 7.3TB
压缩率 40.7:1

如果没有重复数据删除功能，需要空间——存储数据量 7.3TB；
因为重复数据删除功能实际占用空间——数据空间 178.5GB。
压缩率为7.3TB/178.5GB=40.7

感觉很爽！

作者: hachikoopenres 时间: 2013-12-17 10:57
行外人，没看懂

作者: princeduan 时间: 2013-12-17 11:03
回复 2# hachikoopenres

原理很简单，就是磁盘集成了软件功能。
在数据写入磁盘之前，进行分析并删除重复数据块（只保留不重复的数据块），
并进行物理压缩后再写入。从而达到节省磁盘空间的目的。

作者: hachikoopenres 时间: 2013-12-17 11:11

princeduan 发表于 2013-12-17 11:03
回复 2# hachikoopenres

嗯，这样应该可以减少很多数据冗余了

作者: princeduan 时间: 2013-12-17 11:16
回复 4# hachikoopenres

是的，就我现在这个情况，相当于给我节省了7TB多的存储空间。
太适合我们了，心情那叫一个爽啊！

作者: dengbao2001 时间: 2013-12-17 15:47
重复数据删除是比较有用，不过是软件的，对电脑要求蛮高的

作者: princeduan 时间: 2013-12-17 16:10
回复 6# dengbao2001

你说的是采用在业务服务器端进行重复数据删除技术的情况，
我说的这个是在数据传输到磁盘存储端，写入磁盘前进行重复数据删除。
所以，没有你说的顾虑。同时，因为在写入前进行重复数据删除，可以更有效的节省磁盘空间。

作者: dengbao2001 时间: 2013-12-18 14:43
重复数据删除可以用在客户端做，不过这样对客户端压力蛮大的，所以没考虑这种方案

作者: dengbao2001 时间: 2013-12-18 14:44
重复数据删除可以用在客户端做，不过这样对客户端压力蛮大的，所以没考虑这种方案

作者: princeduan 时间: 2013-12-18 14:58
不太明白你说的方式。你说的是以下哪种方式？
我感觉Inline还是比较好的。

InLine方式：在数据要写入的时候进行重复删除。（上面我提到的）
缺点：备份的时候负荷集中在存储器端

PreProcess方式：在业务系统安装Agent，对数据进行重复删除后，把数据传输到存储端。
缺点：需要答复改动现有备份环境，需要考虑对业务系统的负荷。

PostProcess方式：数据不经过任何重复删除或者压缩，保存到存储器后，再进行重复删除。
缺点：需要很多不必要的磁盘空间。需要考虑备份时间和重复数据删除时间。

作者: princeduan 时间: 2013-12-18 14:59
回复 9# dengbao2001

不太明白你说的方式。你说的是以下哪种方式？
我感觉Inline还是比较好的。

InLine方式：在数据要写入的时候进行重复删除。（上面我提到的）
缺点：备份的时候负荷集中在存储器端

PreProcess方式：在业务系统安装Agent，对数据进行重复删除后，把数据传输到存储端。
缺点：需要答复改动现有备份环境，需要考虑对业务系统的负荷。

PostProcess方式：数据不经过任何重复删除或者压缩，保存到存储器后，再进行重复删除。
缺点：需要很多不必要的磁盘空间。需要考虑备份时间和重复数据删除时间。

作者: 锅铁做 时间: 2013-12-18 15:34
回复 11# princeduan

Hello,

楼主无需再作解释，因为你已经解释的很清楚了。

请问，关于——InLine方式，使用的是IBM Storwize 家族产品？
我印象中，这种处理机制的产品不是很多！

作者: princeduan 时间: 2013-12-18 15:38
回复 12# 锅铁做

NEC的HS系列，详情请看以下网站。
http://www.necam.com/HYDRAstor/

作者: birdnet 时间: 2013-12-18 22:58
做VTL还是OST使用？

作者: princeduan 时间: 2013-12-19 08:08
本帖最后由 princeduan 于 2013-12-19 08:09 编辑

回复 14# birdnet

首先说它肯定不是VTL。
因为它本身就是一个磁盘存储备份设备。

OST只是它的一个选项功能：
- 将备份数据从主站点高速复制到远程站点的功能，以及统一管理两个站点数据版本的功能
- 利用独家协议，进行高速备份/ 还原的功能
- 在存储器内，由全备份和增量/ 差异备份，合成新的全备份并保存的功能

另外，它有如下特点：
① 高压缩率：可达到20倍的压缩率。
② 灵活的扩展：20倍压缩率情况下，性能（5.58TB/h~335TB/h）、容量（312TB~37.4PB）的灵活扩展
③ 快速简便管理运营：简单的GUI管理界面和简单的导入操作（30分钟左右就可以开始使用）
④ 高可靠性：NEC专利DRD技术，可以实现3块以上硬盘故障情况下无数据丢失
⑤自然灾害对策：可以简单实现异地备份。

作者: 锅铁做 时间: 2013-12-19 10:08
回复 13# princeduan

Thanks for share.

楼主，昨晚我下载一批英文DataSheet来研究，我有几个小问题，因为之前我部署过EMC Isilon.

1.在同等配置下，HS系列比Isilon更便宜吗？

2.如果我把10Gbps卡安装的Windows Server，并且直连到HS备份存储，在文件系统上面拷贝大小混合数据文件，每秒能够达到多少MB？楼主在自己的环境测试过吗？

<我之前看好Isilon INFINIBAND技术，但是最后测试下来我和客户没留下太好的印象，我当时用的是5台Isilon Cluster>

作者: princeduan 时间: 2013-12-19 15:16
本帖最后由 princeduan 于 2013-12-19 15:36 编辑

回复 16# 锅铁做

1.价格肯定比EMC的要便宜。

2.针对很多场景进行了测试，其中一部分测试结果（32GB数据——16文件夹 128个16MB文件;CIFS协议；ARCserverR16.5、Netbackup（不使用OST））

①HS单节点型号（1台）
1个Server                1个备份任务                1个Subnet             数据无重复450MB/S          数据有重复500MB/S
1个Server                2个备份任务                2个Subnet             数据无重复750MB/S          数据有重复1.0GB/S
1个Server                4个备份任务                4个Subnet             数据无重复1.1GB/S          数据有重复2.1GB/S

②HS可扩展型号（1台）
1个Server                1个备份任务                1个Subnet             数据无重复1.0GB/S          数据有重复1.1GB/S
1个Server                2个备份任务                1个Subnet             数据无重复1.1GB/S          数据有重复1.2GB/S
2个Server                2个备份任务                1个Subnet             数据无重复1.3GB/S          数据有重复2.2GB/S
2个Server                8个备份任务                1个Subnet             数据无重复2.2GB/S          数据有重复2.4GB/S
3个Server                3个备份任务                1个Subnet             数据无重复1.3GB/S          数据有重复2.9GB/S
3个Server                18个备份任务                1个Subnet             数据无重复2.0GB/S          数据有重复3.5GB/S

作者: pingfan2 时间: 2013-12-19 23:15
回复 15# princeduan

在存储一端（而不是备份软件）实现合成备份或者说永久增量，我倒是第一次听说

具体如何实现呢？

作者: princeduan 时间: 2013-12-20 07:54
回复 18# pingfan2

请参考以下网站关于OpenStorageSuite功能的介绍。
另外，上传一张效果图请看楼下。

http://www.necam.com/HYDRAstor/doc.cfm?t=OpenStorageSuite

作者: princeduan 时间: 2013-12-20 07:54
本帖最后由 princeduan 于 2013-12-20 08:13 编辑

增量自动合成全备份效果图1：

作者: princeduan 时间: 2013-12-20 07:58
增量自动合成全备份效果图2：

FullBackup2.JPG (40.88 KB, 下载次数: 47)

作者: ChinaUnixViewer 时间: 2013-12-30 13:28
回复 10# princeduan

NBU media server端的dedup算哪种？

作者: zymin0823 时间: 2013-12-30 23:11
回复 22# ChinaUnixViewer

NBU在10楼中提到的3种方式中都可以实现，看你的需求了。

作者: princeduan 时间: 2014-01-06 09:49
回复 22# ChinaUnixViewer

以下是NBU使用的排重技术。
Deduplication everywhere lets you choose at which point in the backup process to perform deduplication:

•Client deduplication. Data is deduplicated at the client/source before being sent across the network.
•Media server deduplication. Data is deduplicated at the media server/target before being sent to disk or tape.
•Integration with deduplication appliances. NetBackup integrates with deduplication appliances via the OpenStorage API.

作者: jackson198574 时间: 2014-02-25 09:30
空间节省挺明显的，有没有做过性能上的对比？使用去重和不用去重的性能对比。

作者: p392114766 时间: 2014-02-25 16:08
敢问大神你这都是很么品牌的产品

另外重删只适合小数据量备份

像某些用户都是直接上物理带库或虚拟带库的

磁盘备份和磁带备份相比还不是一个层次的吧

作者: princeduan 时间: 2014-02-25 18:02
回复 26# p392114766

磁盘备份与磁带备份的确不一个层次，磁盘备份替代磁带备份是趋势。
磁带备份的缺点就不用多说了。

看看我们公司开发部门数据备份情况。

备份时间备份方式总数据量
90天完整备份 24281.2GB,

使用NECHS系列磁盘备份设备，所需空间1911.9GB。

压缩率达到12.7：1。

当然他的可靠性（实现3块硬盘损坏无数据丢失；数据校验等功能）以及便利性也与磁带不是一个级别。

作者: p392114766 时间: 2014-02-26 09:52
回复 27# princeduan

是这样的带库可以实现机房内任何服务器节点的Lanfree备份，并且虚拟带库一般都是内置压缩重删功能，而且可以最大化的使用存储资源。

如果你用磁盘存储给10个主机做Lanfree备份，是不是至少需要划出十个LUN映射过去，而且每个划多少如何分配？

对于有备份数据异地保存需求的时候，磁带是很容易做到的。话说一盘磁带才几个钱

作者: princeduan 时间: 2014-02-26 14:49
回复 28# p392114766

光纤环境的数据传输效率毋庸置疑，可是成本投入也是相当可观的。
况且，它还有实施复杂、消耗业务服务资源、数据恢复能力受限、不同厂商的机制不同导致兼容性差等硬伤。

至于虚拟磁带库，个人认为只是磁盘备份代替磁带备份过渡过程中的一个产物。
当磁盘备份成熟后，完全可以摆脱这种“复杂事物”。
而HS系列磁盘备份，只需40分钟左右(包括架设、设置作业)就可以让其投入使用。
顺便提下NEC HS系列使用可变长・数据块级别・inline重复数据删除技术。

NEC HS系列采用“Thin provisioning”模式，无须在空间划分上花费我们的宝贵时间。

对于磁带实现的异地保存，磁带本身易携带的特点决定了安全性方面是有漏洞的。
另外需要投入太多的人力物力去运输、保管，试想如果真正发生了灾害，
我们要恢复业务正常运作，还要等卡车把磁带从异地运回来吗？
况且，磁带保存的数据能否正常进行恢复也是很让人担心。

作者: p392114766 时间: 2014-02-26 15:48
回复 29# princeduan

不同用户有不同的备份需求，每个用户的数据结构、数据分布都是不一样的
您这解决方案必然不适用于所有用户。

我觉得commvault的重删比比较高，而且结合快照备份速度快，哈哈

作者: princeduan 时间: 2014-02-26 16:36
本帖最后由 princeduan 于 2014-02-26 16:41 编辑

回复 30# p392114766

赞同！:wink: 感谢顶我的帖子！
你说的备份软件commvault与HS兼容非常好。

作者: lgatuk 时间: 2014-03-11 11:26
数据备份与恢复时间是原来的多少倍？

作者: princeduan 时间: 2014-03-11 15:45
回复 32# lgatuk

备份作业由于有重复删除功能，速度肯定要快很多。
恢复只是从存储中读取数据而已，没有什么变化。

当然如果使用了netbackup的openstorage组件功能，备份和恢复效率都会大幅提高。

作者: kenlzh766 时间: 2014-03-16 18:18
楼主用的是哪家的存储，可否说明一下？

作者: princeduan 时间: 2014-03-17 08:48
回复 34# kenlzh766

NEC的HS系列，请参见以下网站。
http://www.necam.com/HYDRAstor/

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)