什么是重复数据删除技术？

zhanghailin_80

硬件重复数据删除技术和软件重复数据删除有什么本质区别？

冬瓜头

本质上没什么区别

cncqpansky

重复数据删除最基本的形式是出现在CAS（内容寻址存储）设备中的单一实例存储（single-instance store），例如，EMC的 Centera。当每个文件存储到CAS系统上时，CAS系统会为存储的文件内容生成一个散列（hash）；如果系统中已经存在具有相同散列（hash）的文件，系统就会再创建一个表示副本的指针指向已存在的文件，而不是保存另一个副本。

cncqpansky

硬件软件都要基于算法, 算法不一样的差别吧.

比如EMC产品, 可能像AVAMAR在备份时候在主机端就开始变长块的源端重复数据删除, 删除率达到300:1, 500:1, 甚至更高. 然后在备份到它的虚拟磁带库时候也会再次进行重复数据删除

无牙

差别不大

Superman2008

顾名思义~一个是用软件实现的，一个是用硬件实现的。
软件实现就需要消耗os的资源，而如果是硬件，那就可以占用较少系统资源。
如果要分类，可以分目标端和源端的硬件重复数据删除技术
不只是CAS这样的内容存储有这个技术，现在的NAS产品也在用这样的技术(市场上有产品生产的是EMC和Netapp两家），还有昆藤和EMC一起开发的虚拟带库也提供了重复数据删除技。

无牙

总结的不错。

jgtvisionnex

原帖由 Superman2008 于 2009-4-9 15:24 发表
顾名思义~一个是用软件实现的，一个是用硬件实现的。
软件实现就需要消耗os的资源，而如果是硬件，那就可以占用较少系统资源。
如果要分类，可以分目标端和源端的硬件重复数据删除技术
不只是CAS这样的内容存 ...

不错不错！如果可以详细介绍一下就更好了！
如在源端做De-dup的有那些硬件设备，有那些软件
如在目标端做的，都有那些硬件设备，那些软件。

我知道的，EMC 的DL3D就是硬件设备，是在源端进行数据删除。Avamar是一个软件，也是在源端进行数据删除的！

无牙

对于数据删除实现的方法分为：硬件和软件两种。
对于数据删除技术分为两种：post-processing 和Inline, 也就是通常说说的后置删除和前置删除。

硬件方式实现的都是post-processing，也就说数据存储到存储设备之后再进行重复数据的删除工作。例如，FalconStor的VTL,还有昆腾的VTL。

软件一般是inline方式，就是在客户端上做重复数据的删除工作。例如EMC的Avamar, commvualt等。

Symantec的PureDisk是支持这两种模式的。 给赛门做过小广告。

cncqpansky

支持, 学习了.