dedup是一个始终让人不放心的技术

liuag

回复 50# michael1983


要想做到完全的数据完整性也是可能的，比如建立hash桶，相同hash值后再比较数据块。当然这样的话，性能就要受影响。
现在普遍还是在hash函数方向努力，期望非常非常小的碰撞率或者无碰撞发生。
王小云教授一下把N多人都搞疯了，哈哈！

bbjmmj

NO！NO！NO！王教授让大家都放心了，碰撞的几率仅为10的－21次方，大大低于硬盘出现坏扇区的几率，单就理论而言，DEDUP的哈西校验已经足够可靠。

michael1983

回复  michael1983


要想做到完全的数据完整性也是可能的，比如建立hash桶，相同hash值后再比较数据块 ...
liuag 发表于 2010-04-14 12:39

    几率再小，也是软层面的东西。
    硬盘故障的风险再大，也是硬件层面的东西，我们不能不用。
所以软层面的东西我们可以控制，大不了不用。用了导致问题出现，那就是决策者的责任了。
毕竟我们不用，就不会出现问题。
而硬层面的东西不能不用，所以有了raid，有了raid还是坏的话，那就没办法了。

michael1983

NO！NO！NO！王教授让大家都放心了，碰撞的几率仅为10的－21次方，大大低于硬盘出现坏扇区的几率，单就理论 ...
bbjmmj 发表于 2010-04-14 13:22

国人的骄傲！

无牙

硬盘出现坏扇区可以靠做raid避免。

另外，担心现在有很多软件公司做的dedup产品就没考虑碰撞问题。

ry715

硬盘出现坏扇区可以靠做raid避免。

另外，担心现在有很多软件公司做的dedup产品就没考虑碰撞问题。
无牙 发表于 2010-04-14 18:49

    恐怕这个才是关键呀，所有的碰撞概率都是理论上的，而在实际产品中，为了避免性能方面的影响，是否真的能到达理论的那个高度呢

coolgo2010

随着数据量的猛增，它必是个趋势，除非硬件的发展大大的超过数据的增长。

michael1983

硬盘出现坏扇区可以靠做raid避免。

另外，担心现在有很多软件公司做的dedup产品就没考虑碰撞问题。
无牙 发表于 2010-04-14 18:49

如果做了dedup，碰撞问题肯定是要考虑的。
否则那是对产品的一种不负责任呐
就是看考虑的全面不全面了。。。

michael1983

恐怕这个才是关键呀，所有的碰撞概率都是理论上的，而在实际产品中，为了避免性能方面的影响，是 ...
ry715 发表于 2010-04-15 09:24

    dedup本身就是一个以空间换性能的东西啊~~

michael1983

随着数据量的猛增，它必是个趋势，除非硬件的发展大大的超过数据的增长。
coolgo2010 发表于 2010-04-15 09:53

    确是有这种趋势