【原创】重复数据删除在vtl里的应用

ops

重复数据删除在vtl里的应用\r\n1. 什么是重复数据删除\r\n重复数据删除字面的意思是消除重复的数据。但是怎么样定义这个“重复的数据呢”？大部分使用或即将使用这项技术的厂家都是按照一定的规则，按照一定大小的，例如每8k的块来操作，然后按照一定的hash算法来进行计算。当出现两个完全相同的“块”时，就认为这个数据是重复的，然后系统会将这个重复的数据进行删除。这项技术可以在一定的条件下（主要取决于备份什么样的文件）大大降低空间的使用量。 \r\n\r\n2. 重复删除在什么时候进行，有什么影响\r\n2.1. 前处理\r\n前处理就是说在传输前已经把重复数据进行处理，因此在传输的时候就不在传输重复的数据了。这样做的好处就是节省带宽。因为很多的数据不在传输，所需要的传输量就可以大大减少。但是由于要进行运算，会消耗一定的资源，因此会影响备份的速度。 \r\n\r\n2.2. 后处理\r\n后处理的意思是先把所有的数据按照正常情况下备份到vtl上，然后由vtl指定策略来运算进行数据的删除。这样做的好处是对于前端备份来说，他感受的是和以前一模一样的，没有任何区别。但是由于他要将完整的数据都要放进来，一次并没有节省空间。所以需要一个较大的空间来存放一定的“cache”数据。 \r\n\r\n3. 重复数据删除的可靠性\r\n3.1. 关于hash算法\r\n由于重复数据删除是基于一定的hash算法来实现的。但是无论你使用多么优秀的hash算法。都会一定的概率（尽管这个概率非常非常的小），出现两个完全一样的hash值。那么vtl会不会也将这些数据删除呢？首先肯定是要选用出现相同概率尽可能低的hash算法，更近一步的解决是在删除之前进行第二次比对，可以是hash，也可以是其他方法。这样就可以在一定程度上解决这个问题。 \r\n\r\n3.2. 关于唯一的数据\r\n很多人都在担心，你把数据都保留了一份。万一这个小数据坏了怎么办？他可能会影响的成千上万的文件！首先：大家知道，这个文件是存储在vtl的后端阵列上。在存储阵列上会有相对应的容错机制。那么在阵列的损坏而导致的数据则不用担心了。因为如果你不相信后端的存储阵列，你怎么相信你前台应用所使用的阵列呢？其次：万一这个数据真的没有了怎么办？vtl作为磁带库的替代品之一。他还不是近线备份存储的解决方案。因此，很多情况下vtl会是第二级的备份存储。而vtl是最终的存储方案呢？答案当然也不是。vtl的容量总是有限的。不可能把所有的数据都放在上面很多年。磁带库仍然会作为存储的终点来出现。那么当vtl上的数据损坏时，只要你能及时发现即可，因为你的磁带备份还会有一份数据的。 \r\n\r\n3.3. 什么数据都要使用重复数据删除么\r\n当然不是，你可以选择你需要节省空间的部分来使用。换句话说，不是在一台vtl上所有的数据都使用重复数据删除。有些数据是存储管理员认为较为重要的，那么尽可以不使用重复数据删除。有些数据的要求不那么高，则可以使用重复数据删除。 \r\n\r\n4. vtl究竟需不需要重复数据删除\r\n要说这个东西是vtl一定必须具备的技术么？也不尽然。重复数据删除对于vtl的整体功能来讲，应该是一个锦上添花的作用。俗话说，有总比没有好。多一项技术至少是多一种选择。在管理的时候的多一种思路。\r\n\r\n\r\n欢迎大家积极讨论        首发：http://www.opensolution.org.cn\n\n[ 本帖最后由 ops 于 2009-1-5 11:04 编辑 ]

xzc999

无牙大侠，我还是问下puredisk问题\r\n1、pd是使用的前端还是后端处理.\r\n2、pd的agent和NBU的agent有什么区别，2个需要配合用吗。如果我要备份一个file server需要在这个上面2个agent都装吗？\r\n3、我安装好PDOS后SPA默认是安装好的吗？\r\nthanks！\n\n[ 本帖最后由 xzc999 于 2009-1-5 14:28 编辑 ]