【话题讨论】三种类型的重复数据删除技术的优劣比较（获奖名单已公布-2013-7-2）
获奖名单已公布，详情请看：http://bbs.chinaunix.net/thread-4088733-1-1.html备份设备中总是充斥着大量的冗余数据。为了解决这个问题，节省更多空间，“重复删除”技术便顺理成章地成了人们关注的焦点。采用“重复删除”技术可以将存储的数据缩减为原来的1/20，从而让出更多的备份空间，不仅可以使磁盘上的备份数据保存更长的时间，而且还可以节约离线存储时所需的大量的带宽。
今天我们就来讨论讨论重复数据删除技术的问题：
1、你们平时采用什么技术进行重复数据删除？
2、对于复数据删除技术的三种主要类型：文件级、数据块或数据子块，以及内容识别，你最喜欢那种方式？
3、简单描述一下以上几种技术的优劣？
讨论时间：2013.6.3--2013.6.21
讨论奖励：活动结束后将会抽取两位会员赠送50元京东礼品卡。
我觉得一般都是会采用数据压缩技术
如果冗余度高,压缩率自然就大,这样还便于恢复.因为是无损的.
我接手的项目还真没有用过重复数据删除技术的
顶多是增量和全量结合的方式. 哦。那你觉得那种情况下才会用到这些技术呢？回复 2# laputa73
今天我们就来讨论讨论重复数据删除技术的问题：
1、你们平时采用什么技术进行重复数据删除？
2、对于复数据删除技术的三种主要类型：文件级、数据块或数据子块，以及内容识别，你最喜欢那种方式？
3、简单描述一下以上几种技术的优劣？
重复数据占用太多资源了，360也做过类似的功能
你邀请他们来吧，，，nosql相关的 数据块或数据子块类型的重复删除不在文件层实现，而是关注在单独的数据块和数据子块上（后者小于512字节），进而减少存储消耗。这类重复数据删除技术能非常精准地实现“卓越的”重复删除，并实现高效的数据备份。不过使用这类重复数据删除方式的存储通常代价不菲。 嗯嗯。来看看回复 4# shang2010
回复 3# arron刘
我就是不明白,所以来学习.
赫赫.
感觉基于块的数据删除和压缩技术原理上应该是相通的.
刚才想到,网盘还有p2p下载技术也应该有关系.
同名的文件只存一份,应该就是基于文件的删除吧.
迅雷下载要判断是否本地cache命中.也是类似的. 文件级、数据块或数据子块，以及内容识别
我感觉内容识别的话消耗的资源比较多，定期的删除旧的备份是比较可行的方案
数据块或数据子块的删除就算是中庸之道，介于二者之间 1、你们平时采用什么技术进行重复数据删除？
inline
2、对于复数据删除技术的三种主要类型：文件级、数据块或数据子块，以及内容识别，你最喜欢那种方式？
文件级就别说了，我个人更喜欢内容识别类型。
3、简单描述一下以上几种技术的优劣？
基于文件级压缩率太低
数据块或数据字块需要消耗cpu内存资源，效率低。
我个人更喜欢内容识别的 1、你们平时采用什么技术进行重复数据删除？
目前还没有,正在研究.去重肯定是要考虑的.
2、对于复数据删除技术的三种主要类型：文件级、数据块或数据子块，以及内容识别，你最喜欢那种方式？
最喜欢数据子块技术.这个技术可以实现高效的数据备份.
3、简单描述一下以上几种技术的优劣？
文件级别的,主要是重复文件多的情况下,一般是免费的.
数据块或数据子块,可以非常精准的实现重复删除,实现高效的数据备份.楼主说的采用“重复删除”技术可以将存储的数据缩减为原来的1/20这个肯定是在这两种情况下实现的.不过类方式存储通常代价也很高昂