咨询重复数据删除技术，急！

michael1983

你贴的是硬盘使用情况的图，都不是重删效率的图。
100心 发表于 2010-08-09 14:31

   pre-comp是原始的大小
    post-comp是重删后的大小
很明显了哦

michael1983

回复 27# paleskyunix


    主存储你敢做重删？
emc的ns也可以，就是不敢用

michael1983

Total files: 223;  bytes/storage_used: 6.8
       Original Bytes:        2,022,000,968
  Globally  ...
100心 发表于 2010-08-09 14:27

    第一行是重删比
第二行是原始数据大小
第三行和第四行分别是全局压缩容量和本地压缩容量

michael1983

sysadmin@DD630# filesys show compression summary
                     
From: 2010-08-03 12:00 To: 2010-08-10 12:00
                     
                  Pre-Comp   Post-Comp   Global-Comp   Local-Comp      Total-Comp
                     (GiB)       (GiB)        Factor       Factor          Factor
                                                                    (Reduction %)
---------------   --------   ---------   -----------   ----------   -------------
Currently Used:    12944.6       870.7             -            -    14.9x (93.3)
Written:*                                                                        
  Last 7 days      12636.6       889.2          3.2x         4.4x    14.2x (93.0)
  Last 24 hrs       2179.8        99.1          5.3x         4.1x    22.0x (95.5)
---------------   --------   ---------   -----------   ----------   -------------
* Does not include the effects of pre-comp file deletes/truncates
   since the last cleaning on 2010/08/10 08:50:35.
Key:                                                         
       Pre-Comp = Data written before compression            
       Post-Comp = Storage used after compression            
       Global-Comp Factor = Pre-Comp / (Size after de-dupe)   
       Local-Comp Factor = (Size after de-dupe) / Post-Comp   
       Total-Comp Factor = Pre-Comp / Post-Comp               
       Reduction % = ((Pre-Comp - Post-Comp) / Pre-Comp) * 100
sysadmin@DD630#

michael1983

给个参考

100心

咱喜欢深入点讨论，别停留在字面嘛，到时用户问我 全局压缩容量和本地压缩容量 有啥区别，我真说不出啊。

paleskyunix

回复  paleskyunix


    主存储你敢做重删？
emc的ns也可以，就是不敢用
michael1983 发表于 2010-08-10 12:21

这有什么不敢的，我一个朋友的vmware环境就是放在了netapp存储上，因为虚机太好用了，结果存储的使用速度大大超过了预期，后来没办法了就开始使用netapp的重复数据删除，反正是免费的，结果删除率达到了59%，就是说3675GB的数据实际占用磁盘物理空间只有1506.75GB。而且用到现在也没任何问题。倒是他说netapp的重复数据删除就像windows里面的碎片整理一样，作一次很花时间的。不过似乎可以设置时间计划，并且可以断点续作的。
听说emc今年第三季度的CX操作系统软件更新也会提供类似于的基于块级别的压缩功能，期待噢！
所以主存储的重复数据删除一定会越来越为用户所接受的，只是我朋友说过去这个是netapp的杀手锏之一，现在emc也要赶上来了。

michael1983

这有什么不敢的，我一个朋友的vmware环境就是放在了netapp存储上，因为虚机太好用了，结果存储的使用速度 ...
paleskyunix 发表于 2010-08-15 11:48

    虚拟化环境本身就比较适合重删，几十个虚拟机都是win2003的os，重删的效果相当赞。
不过类似ERP、数据库的生产环境，我是断然不会用重删的。

emc的NS存储已经支持重删了，也是免费的啊

paleskyunix

虚拟化环境本身就比较适合重删，几十个虚拟机都是win2003的os，重删的效果相当赞。
不过类似ERP ...
michael1983 发表于 2010-08-15 16:48

朋友说emc ns的重删是文件级别的，以文件做为单位的。在文件共享环境下还有点用，其他环境下就不怎么样了。
不过对于数据库之类的应用我同意你的观点，没必要用重删，反正数据库本来就不会太大，即使重删了效果也不一定好，省不了多少的。

老beijing

楼主用重复数据删除，目的是什么呢？

dedu诞生的目的，是两个：
1，节省磁盘磁带空间
2，节省带宽，方便数据通过网络异地

总结，就是为了省钱。

硬件做dedu，比如vtl，DD等，多数比较贵，比如DD，入门级10K美金起步价。基本上你算不出能省多少钱。大家可以根据自己数据类型，算dedu效率，然后算钱。

省带宽是可以的，但是起步就的买两个硬件dedu设备，费用也不低，但是比带宽费用节省多了。

软件，比如puredisk，CV都能做dedu，反正你得买备份，不然要dedu干什么？索性你就买赛门或者CV的同时，加一个dedu的许可就行。比前两种方式都省钱。效率差不多。

以上讨论的是数据中心，avamar适合远程办公室，暂不讨论。