重复数据删除是存储发展的必然选择

copyking

    业务的不断增长，数据日益激增，文本、声频、视频、图像、大容量邮件附件等都在加重企业数据备份的负担。为了解决这个问题，企业越来越多地转向重复数据删除技术，很多厂商也都相继推出支持重复数据删除的产品。那么重复数除删除究竟具有什么特点呢，带着这个问题我们采访了Hifn亚太区运营副总裁杨钦铭先生。
　　最近两年，大家较多地谈论重复数据删除技术，越来越多的产品也支持重复数据删除。那么，它对用户有什么影响呢？

　　每年存储都以成倍的速度增长，在存储过程中就会产生很多问题：一个是管理问题，另一个是能耗问题。冷气、空调等管理的费用越来越高，空间问题，磁盘问题都需要管理。于是很多企业把备份放到磁带、磁盘里。由于磁带机的速度比较慢，于是越来越多的资讯被放在电脑、服务器、存储中。当资讯膨胀时，就产生了很多技术，一个是压缩，一个是重复数据删除。压缩可以把存储压缩两倍到三倍，对于大企业来说应用压缩后可以缩减成本，达到环保的目的。随着技术的延伸，于是出现了重复数据删除，重复数据删除最大可以帮助用户减少20倍的数据。对于企业来说，把压缩和重复数据删除结合起来，可以使节省空间的比例最大也最优化。
　　重复数据删除有几种方式可以实现，具有哪些特性吗？
　　重复数据删除的实现一种是In-line，一种是Post-processing。其中，In-Line技术对于系统性能提出了更高的要求，因而，基于硬件的Hifn重复数据删除产品可以充分满足这种要求。产品重复数据删除不是比较文件，而是比较编码。我们把数据进行我们把数据进行SHA1 Hash（哈希）计算， 之后变成一个摘要，再把摘要进行比较。如果两段数据的摘要值相同，则对后进入系统的数据进行删除。在整个空间，绝大部分文件用简单的数据即可代表它们，同时HIFN的产品针对没有删除的部分文件还可以做压缩，压缩比一般是一半，如果原始数据是40T，对于OA数据，重复删除比例大概为20：1，那么就是2T，再对这2T的数据进行压缩，这时40T就变成1TB。但是，并不是所有的都可以应用压缩，诸如MP3，Media等本身已经是压缩的，这时就不用再应用压缩，但是此时可以做删除，如果有完全相同的图片或文件时，系统会自动追寻并将其删除。
　　请问和软件重复数据删除相比，硬件重复数据删除具有什么特点？
　　重复数据删除是基于Hash（哈希）+Hash table matching（哈希值匹配）的方法来计算的。如果用软件来进行重复数据删除，速度会很慢，这取决于CPU的处理能力，因为CPU在加密解密时还在跑其他应用，所以速度会非常慢。我们所看到的最快的CPU一般能够达到200-400MB/s的处理性能，所以我们所看到的多数厂商的重复数据删除一般是在做备份时应用。而在主存储上并没有用重复数据删除。 两年前，我们推出的高速处理板卡，可以提供600MB/s－1GB/s以上的带宽，来进行数据压缩。而现在我们推出的新的产品组合，以硬件和软件相结合的方式可以在非常快的速度下同时进行重复数据删除，压缩以及加密，应用了我们产品方案的系统的好处是不但不会影响主存储的性能，还充分保证了主存储的速度。
　　在应用重复数据删除设备时，用户一般要注意什么问题？
　　用户之所以暂时没有应用重复数据删除是因为用户会很担心软件的重复数据删除会影响主存储的速度。所以一般重复数据删除不用在主存储上，而是用在容灾方面。在应用重复数据删除产品时，如果把软件和硬件相结合，用户就可以直接启动重复数据删除，从而避免这个问题；用户在进行异地备份时也可以应用重复数据删除，重复数据删除可以很快实现增量备份，而不需要担心带宽的问题。所以随着技术的发展，重复数据删除是必然需要的，同时压缩给重复删除带来更大的比例，而加密保证了其安全。
　　Hifn今后的市场策略和发展方向吗？
　　Hifn在接下来的时间里会着重的关注存储市场，我们会推广我们的存储软件硬件组合，另外还有Hifn的NAS和iSCSI应用套件，企业可以直接应用，我们产品的易用性可以保证我们的客户能够非常快的将我们的方案整合到他们的系统中。对于NAS产品，我们的产品甚至可以直接应用到NAS的主存储上，实现重复删除。我们的硬件已经投放市场并被其他厂商所应用，另外软件计划明年上半年会出来。今后，市场的竞争方向不是价格斗争，而是技术斗争，如何更好保证客户价值的竞争。
　　重复数据删除的前景如何？
　　重复数据删除是大家都需要的，尤其是这次金融危机的影响，厂商更会考虑节约成本。本身资讯没有减少，因此存储不会改变，这时越来越多的人就会考虑重复数据删除。重复数据删除是一个很好的技术，可以让用户实现节约成本以及绿色环保。


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u2/66684/showart_1420152.html