含几个上百G文件的目录怎么备份比较快啊？

tech11

系统是linux，直接备份到磁带怎么浪费空间和不安全了啊？请教10楼

alexbow

原帖由 tech11 于 2009-1-2 17:33 发表
系统是linux，直接备份到磁带怎么浪费空间和不安全了啊？请教10楼

你直接备份需要用到磁带分段技术，否则每盘磁带只能放一段tar数据，并且即使你手动分段，你也需要很繁琐的手动记录分段信息。

例如：tar1，EOD，tar2，EOD......使用时使用不回卷设备，卷到指定位置恢复指定数据块。

然后，文件系统是文件越大越有效率，备份数据要验证，定期恢复测试。

可以采用备份管理软件，例如bakbone。

如果不是几kb的文件不必担心性能。

edision

原帖由 soway 于 2009-1-4 09:34 发表
对于小文件备份目前似乎确实没有更理想的手段了。
我元旦放假前，将一个600多G的目录使用最简单的cp方式到另外一个地方。

结果花费了3600分钟，也就是60小时。里边全是小文件，我都不敢去统计到底是多少个文 ...

对于小文件的备份的软件还是有的，像EMC  disk Xtend,

bbjmmj

原帖由 tech11 于 2008-12-29 23:44 发表
本来是直接备份到磁带机的，老板觉得磁带在公司隔夜不安全，一定要把数据先备份到另一台机器上，到周五的时候，在白天来备份这一周的数据到磁带上。目前是每周一个全备，其他时间增量，数据量近200G。如果想白天 ...

可以利用夜间时间把数据tar到其它服务器上.怕停电就配UPS，8块松下电池足够你两台服务器挺24小时了，加个APC的UPS，3KW的就足够了，一共才一万多。

tech11

现在有ups，一个很大的电池柜，不过只能支持1小时，我是觉得备份到另一个服务器，缺点是：
再备到磁带机麻烦，而且恢复时需要恢复两次；
也担心备份大文件时出错；
将来数据量大了备份窗口不够；
白天备份也会影响大家工作

bbjmmj

原帖由 tech11 于 2009-1-4 13:03 发表
现在有ups，一个很大的电池柜，不过只能支持1小时，我是觉得备份到另一个服务器，缺点是：
再备到磁带机麻烦，而且恢复时需要恢复两次；
也担心备份大文件时出错；
将来数据量大了备份窗口不够；
白天备份也 ...

用SAMBA稳定性就够用了，经常用它拷文件，下班前开始拷，第二天上班的时候就拷完了，经常很多碎文件，不掉线，大文件就更没问题了。你可以在备份用的服务器上设置这个服务，然后MOUNT到你的数据服务器某个目录上，再在数据服务器上把数据TAR到这个目录，用ATD自动运行TAR备份或者下班前手工启动TAR备份。

我这里用的是松下电池，粗略估算平均一块电池一台服务器用能坚持5到6个小时，才1000块多点，很便宜的，有条件就多配点。
还有哦，备份的是什么类型的数据？如果是ORACLE的数据库文件，听天由命吧，数据杀手……

[ 本帖最后由 bbjmmj 于 2009-1-4 15:20 编辑 ]

tech11

oracle数据库文件怎么是数据杀手啊？没用过不懂

NBU备份大文件时对内存有要求么？比如一个200G的文件，内存+swap才不到100G，不知道这个备份过程是怎样的，需要写入缓存么？白天备份大文件对内存的占用不知道怎么样

无牙

原帖由 tech11 于 2009-1-6 11:47 发表
oracle数据库文件怎么是数据杀手啊？没用过不懂

NBU备份大文件时对内存有要求么？比如一个200G的文件，内存+swap才不到100G，不知道这个备份过程是怎样的，需要写入缓存么？白天备份大文件对内存的占用不知道 ...

NBU备份的时候用的是share memory,这个值和你做的NBU配置参数有关系，和文件大小没有关系。

NBU按network buffer大小读的数据（这是NBU的参数和OS无关），缺省是64K，所以和swap的大小也无关。

备份的时候对内存影响不到，主要的影响是系统I/O的影响。

老beijing

原帖由 edision 于 2009-1-4 11:41 发表

对于小文件的备份的软件还是有的，像EMC  disk Xtend,

DiskXtend如何备份小文件呢？据我知它主要做文件迁移归档。