【话题讨论】三种类型的重复数据删除技术的优劣比较（获奖名单已公布-2013-7-2）

arron刘

获奖名单已公布，详情请看：http://bbs.chinaunix.net/thread-4088733-1-1.html

备份设备中总是充斥着大量的冗余数据。为了解决这个问题，节省更多空间，“重复删除”技术便顺理成章地成了人们关注的焦点。采用“重复删除”技术可以将存储的数据缩减为原来的1/20，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。

今天我们就来讨论讨论重复数据删除技术的问题：
1、你们平时采用什么技术进行重复数据删除？
2、对于复数据删除技术的三种主要类型：文件级、数据块或数据子块，以及内容识别，你最喜欢那种方式？
3、简单描述一下以上几种技术的优劣？

讨论时间：2013.6.3--2013.6.21

讨论奖励：活动结束后将会抽取两位会员赠送50元京东礼品卡。

laputa73

我觉得一般都是会采用数据压缩技术
如果冗余度高,压缩率自然就大,这样还便于恢复.因为是无损的.
我接手的项目还真没有用过重复数据删除技术的
顶多是增量和全量结合的方式.

arron刘

哦。那你觉得那种情况下才会用到这些技术呢？回复 2# laputa73


   

shang2010

今天我们就来讨论讨论重复数据删除技术的问题：
1、你们平时采用什么技术进行重复数据删除？
2、对于复数据删除技术的三种主要类型：文件级、数据块或数据子块，以及内容识别，你最喜欢那种方式？
3、简单描述一下以上几种技术的优劣？




重复数据占用太多资源了，360也做过类似的功能
你邀请他们来吧，，，nosql相关的

heaven_sky

数据块或数据子块类型的重复删除不在文件层实现，而是关注在单独的数据块和数据子块上（后者小于512字节），进而减少存储消耗。这类重复数据删除技术能非常精准地实现“卓越的”重复删除，并实现高效的数据备份。不过使用这类重复数据删除方式的存储通常代价不菲。

arron刘

嗯嗯。来看看回复 4# shang2010


   

laputa73

回复 3# arron刘


    我就是不明白,所以来学习.
    赫赫.
    感觉基于块的数据删除和压缩技术原理上应该是相通的.
   
    刚才想到,网盘还有p2p下载技术也应该有关系.
    同名的文件只存一份,应该就是基于文件的删除吧.
    迅雷下载要判断是否本地cache命中.也是类似的.

方兆国

文件级、数据块或数据子块，以及内容识别

我感觉内容识别的话消耗的资源比较多，定期的删除旧的备份是比较可行的方案
数据块或数据子块的删除就算是中庸之道，介于二者之间

沙中有金

1、你们平时采用什么技术进行重复数据删除？
inline
2、对于复数据删除技术的三种主要类型：文件级、数据块或数据子块，以及内容识别，你最喜欢那种方式？
文件级就别说了，我个人更喜欢内容识别类型。
3、简单描述一下以上几种技术的优劣？
基于文件级压缩率太低
数据块或数据字块需要消耗cpu内存资源，效率低。
我个人更喜欢内容识别的

chenyx

1、你们平时采用什么技术进行重复数据删除？
目前还没有,正在研究.去重肯定是要考虑的.

2、对于复数据删除技术的三种主要类型：文件级、数据块或数据子块，以及内容识别，你最喜欢那种方式？
最喜欢数据子块技术.这个技术可以实现高效的数据备份.

3、简单描述一下以上几种技术的优劣？
文件级别的,主要是重复文件多的情况下,一般是免费的.
数据块或数据子块,可以非常精准的实现重复删除,实现高效的数据备份.楼主说的采用“重复删除”技术可以将存储的数据缩减为原来的1/20这个肯定是在这两种情况下实现的.不过类方式存储通常代价也很高昂