关于大量小文件备份回复的问题.

donggua0713

使用TSM,可以做到如下:

针对大量小文件数据环境的备份策略
        在实际的IT工作环境中，经常存在着具有如下特点的数据环境：
1．        文件的数量非常巨大，也就是说存在着数量庞大的独立文件；
2．        每个独立文件的数据量很小；
3．        数据变化并不频繁，特别是改变每个独立文件的频率相对很低。
        面对这种环境，使用常规的增量备份或者差异备份方式，不太容易取得完美的效果。这是由于常规备份方式判断文件是否发生改变的方式造成的。常规备份方式判断文件是否改变，通常采用如下的判断方式：
                当备份或者过期请求发起时：
1．        客户端程序搜索整个客户端需要备份的文件系统以建立一个文件特性描述列表；
2．        服务器端程序搜索整个文件空间，建立一个服务器端的的文件特性列表；
3．        比较这两个列表，如果某一个文件符合备份或者过期的条件，则执行相应的操作。例如该文件仅存在于客户端，但不存在于服务器端，则进行相应的备份操作。
        显然，当用户客户端的数据属于大量小数据环境的时候，再沿用这种判断方式，肯定会有相当的时间会花费在文件特性列表的建立和比较过程中。
        针对这种情况，IBM Tivoli Storage Manager（以下简称TSM），采用了一种基于日志的备份方式（Journal Based Bakckup）。当采用这种方式的时候，用户需要在备份客户端启动日志服务引擎（Journal Service Engine）。该引擎会记录客户端自上次工作结束后，发生改变的所有独立文件。因此，当进行备份的时候，备份客户端会直接从日志服务中获得要备份数据的信息，避免了两个文件特性列表的建立和比较工作，从而极大的提高备份处理速度。当此次备份完成后，日志服务会自动清除独立文件登记的信息，并继续跟踪客户端文件以后的变化。
        目前TSM基于日志的备份方式的适用平台为Windows NT，Windows2000，Windows 2003和Window XP。需要注意的是在TSM 5.2.2版本中，Windows 2003 64 bit的客户端不支持基于日志的备份。

myguangzhou

大量小文件备份的确比较头疼；CV LEGATO NBU都有相应的解决方案，不过效果似乎都不怎么好

donggua0713

这是我从IBM官网上抄来的,我觉得这个技术不错,比块级别的备份之类的更能很好的解决小文件的问题,不过不知道能不能在linux/UNIX上使用,打800问一下应该就知道了.

老beijing

原帖由 donggua0713 于 2008-10-16 12:28 发表
使用TSM,可以做到如下:

针对大量小文件数据环境的备份策略
        在实际的IT工作环境中，经常存在着具有如下特点的数据环境：
1．        文件的数量非常巨大，也就是说存在着数量庞大的独立文件；
2．        每个独立文件的 ...

如果是全备份呢。

这个技术，节省了比对的时间，比对何时发生？增量或者差分的时候。如果我做全备份，那就没有比对啦。

还有一部分耗时间的没有提到—备份前的扫描，这个技术能否适用？即是否可以通过journal log技术去掉扫描时间？文件很多，扫描时间也要考虑。

[ 本帖最后由 老beijing 于 2008-10-24 20:38 编辑 ]

yftty

原帖由 soway 于 2008-10-17 10:37 发表
这个不错！ 是否能做到基于linux也能基于日志备份呢？

我有一个服务器，是rhel4的，大量小文件，每次备份的话需要花费大量的时间。

http://www.linux.com/feature/150200

这个可以实现类似基于日志文件备份

zeemanzheng

用阵列级快照＋快照远程增量复制，能够解决问题。

xiaomao2006

全备分也要考虑小文件问题?

老beijing

原帖由 zeemanzheng 于 2008-10-29 09:40 发表
用阵列级快照＋快照远程增量复制，能够解决问题。

能解决备份性能问题。恢复还不行。

但恢复往往不是整卷（磁盘阵列）的，经常只需要恢复几个文件即可。这时磁盘阵列的快照回滚就不能满足恢复要求啦。

xiaomao2006

veritas flashsnap 可以,但不知道性能如何