数据归档成存储新热点

copyking

　 数据量的爆炸性增长，让我们不得不更加关心存储。这也造成了目前谈论“
数据挖掘
”、“知识管理”等话题更容易引起共鸣。现在所说的存储，并非是简单的“存”和“储”的含义，不是把数据放在角落里就万事大吉的。
   更重要的是，我们要通过这些数据，进一步产生价值，提升企业业务能力，增加效益。这时候，“存储”就演变成了更多的其他含义。比如“备份”、“归档”、“
数据保护
”、“数据挖掘”等等。那么在这些“存储”的替代名词之中，目前哪个是业界谈论最多的呢?“数据归档”当属其一。为什么这么说?是有充足理由的。
　　备份归档 即分散又统一
　　
存储网络
工业协会(SNIA)是如何解释数据归档的呢?SNIA在《
网络存储
双语词典》中的解释是——Archive(归档)是指数据集合的一致性拷贝，通常用以长期持久地保存事务或者应用状态记录。一般情况下，归档通常用以审计和分析的目的，而不是用于应用恢复的目的。
　　上面的解释太术语了，不好理解，那么我们可以用备份和归档作一下对比，因为备份是很多人容易理解的名词。备份和归档都是
数据存储
的应用形式，只是应用目的不同。
　　先来看看备份，其实就是对数据进行复制，是为了确保在出现
数据丢失
或系统灾难时将复制的
数据恢复
回来。因此备份关注的是业务信息的变化和更新，是短期的存储行为，并且经常被覆盖。比如银行每天要备份交易记录。
　　根据备份的解释再来看归档就很好理解了。归档是针对“
海量数据
”的应用，是对数据进行有计划的迁移。当数据停止改变或不被频繁使用时，通过归档把它们转移到别的地方，让出主存储空间，并且使之处于日常的备份窗口之外，既节约了空间，又提升了备份的效率。
　　那么根据上面的解释，如果再简化来说，那就是“Ctrl+C”和“Ctrl+X”的区别，备份是复制，归档是剪切。当然，这只是为了方便理解的比喻，其实里面的玄机还是很多的。
　　备份和归档虽有区别但又互相联系。只要涉及到数据归档必然会有
数据备份
的需求，并且两者都是对存储设备进行操作，因此它们完全可以基于同一技术体系来实现。所以我们看现在的主流存储厂商推出的都是“
数据管理
软件”，既能备份，又可以归档，大有“分而合之”之意。目前，备份和归档常常放在一起考虑，统称BURA (BackUp, Restore, Archive)。两者相似之处都是用复制来保护重要数据不被损坏或丢失。常见的BURA解决方案是D2D2T，就是Backup Disk to Disk, then to Tape。这样满足了对备份速度的要求，也满足了对大容量长保存时间的归档要求，平衡了各方面的需求。
　　厂商推出的软件既然如此，那么企业对数据归档与备份的需求也是分不开的。对企业而言，备份和归档具有两种不同但互补的功能：备份用于快速复制和恢复，以减少故障、人员错误或灾难带来的影响;归档则用于对数据进行有效的管理、保留和长期的访问与检索。企业可以将归档和备份结合起来用，以达到优化成本、改进存储基础设施的整体效力，使备份能够在有效的归档解决方案下变得更有效率，而归档也可以利用备份基础设施满足数据保护需要。
　　需求飙升 容量左右应用
　　随着数据量的爆炸性增长，归档的需求明显增多。IDC在发布《2007年第三季度全球
存储软件
市场收入》时，其存储软件分析师Michael Margossian曾说到：“整个市场受到归档和数据保护与恢复软件市场强劲需求的推动。企业对备份软件的需求似乎有所降温，对归档软件的需求逐渐抬头。”
　　那么对于企业来说，在当前的市场竞争环境中，需要增加数据分析能力以提升竞争力非用“归档”不可。比如我们查询每月电话费，目前只能查到6个月之内的费用。而一年前的话费呢?并非电信部门将此数据删除了，只是没有让其显示给用户。这些更久远的数据是被“归档”了，但是又可以供电信部门随时查看。当电信部门需要分析话费，进而推出新业务时，就会从归档数据中调出这些“年代久远”的数据来。国内一家制造领域大型企业CIO的感触也十分“直白”。他认为，“让数据赚钱，比让数据省钱来的更加有价值。”这也表明了，数据归档比备份来说，更容易帮助企业提升竞争力。
　　可以说，归档是在企业实施备份方案后的进一步对数据的梳理。为什么说是在备份基础之上的升华呢?因为没有备份数据的情况下，谁敢“剪切”。所以备份是前提，归档是提升。而且归档也比备份的前提条件要求更多。首先就是容量的要求，一般量级都是在TB级甚至PB级。对于不到TB级存储量的企业来说，与其采用归档，还不如直接加大磁盘容量来的实际。比如佛山伊戈尔这家致力于向全球市场提供电源变压器、电力变压器和变压器铁芯组件的专业供应商，其IT部门负责人欧建文在接受记者采访时介绍道：“在容量方面，佛山伊戈尔邮件数据库120GB、工程资料文件70GB、一般应用系统SQL数据库120GB、
Oracle数据库
及应用有170GB，总共480GB的数据量。由于数据量不大，我们确实对归档技术没有需求，只是使用了备份功能。”
　　但并不意味着现在没有应用归档技术的企业对这项技术就不关心。比如2007年，SNIA完成了一项全面调查，该调查涉及了来自世界各国各种组织的数百人。令人惊讶的是，80%的人说他们的信息必须保存50年以上，68%的人说他们的数据必须保存100年以上。这样保存数据的话，容量增长可想而之。所以佛山伊戈尔也看到了这种数据爆炸增长的趋势，在制定未来3年IT建设规划时，“归档”已经跃然纸上。欧建文对记者说：“目前归档技术已经排在佛山伊戈尔未来3年内应用的日程上了，未来会首先在ERP、财务信息和邮件方面应用归档。”
　　ILM解决数据归档难题
　　虽然归档的需求正在逐步崛起，但是摆在我们面前的难题其实还有很多。其中最主要的有两个难点：数据长期保留和法规遵从。数据保留的时间远远超过存储系统(磁盘或磁带)和应用程序的寿命。对于长期归档(15 年以上)，最大的挑战是逻辑迁移。逻辑迁移保持了应用程序的特定性，自动化主要流程变得更困难。完整“保存”需要保持数据的可读性和可解释性。
　　在法规遵从方面，随着越来越多的商务运作采用数字方式进行记录和存储，制定用以管理商务和数据的相关法律法规越来越多，未能遵从这些法规而造成的后果也变得越来越严重。除遵从政府的规范法规之外，组织还需要制定自己的内部政策和规程，缓解风险和控制 IT。层层的法规遵从给数据归档增加了难度。
　　目前在磁盘或磁带上做备份、归档，每隔3~5年就需要迁移一次数据(同时在物理上和逻辑上)。物理迁移需要将信息从一个物理存储系统移到另一个系统，或从一种介质格式移到另一种格式以维持物理可读性、可访问性和完整性。逻辑迁移需要将信息从一种逻辑格式移到另一种格式(如从应用程序的旧版本移到新版本)，以保持可读性和可解释性。所以，对于上面提到的SNIA调查得出的结论，“绝大部分人希望数据保存50年甚至100年”，那么存储于磁带，则要面临读取困难和保存时间不够长这样的问题。简而言之，我们需要保留信息的时间远远超过存储系统(磁盘或磁带)和应用程序的典型生命周期。甚至保留期还没到，物理介质就开始退化，变得无法读取。
　　那么有没有什么方法，既可以长久保留数据，又可以增加容量，还能快速读取数据呢? SNIA长期归档和法规遵从存储计划 (LTACSI) 主席、
NetApp
全球实践总监Gary Zasman给出的建议是：针对应用程序、操作及数据存储库实施正式生命周期管理流程，以在使用寿命中解决数据管理的效率问题。
　　目前，在归档中应用ILM(Information Lifecycle Management，信息生命周期管理)的理念已经逐步被用户接受，这不仅能帮助企业从整体上改善其数据资产的管理，以最低的成本来实现大量数据的有效管理与高效利用。并且随着应用的成熟与现实的需求，
数据加密
、
身份认证
、虚拟化等技术也逐步走进归档的应用中，并且有效地提高了归档应用的效率，增强了
数据安全
性，大大降低了操作的复杂性和成本。
　　归档技术走向何方
　　一个好的存储归档系统可以帮助企业实现以下目标：降低保留历史数据的成本;更有效和快捷地对历史数据访问和利用;减少保护和维护信息所需的人力管理成本;保护归档数据的安全性。但是对于数据的读取，归档现在还不能做到尽善尽美。比如我们现在拿起一本100年前的书，可以毫不费力地进行阅读，而几年前的备份磁带，读取可能要困难得多。即使有正确的硬件来读取磁带(且磁带本身仍然完好)，我们还是需要知道磁带的写入格式，且需要可以识别此数据的应用程序。
　　在IT应用早期，
磁盘阵列
不像今天这么发达，磁带库是主要的备份技术。如今，硬盘越来越便宜，不仅磁带在备份中的应用减少了，甚至有人提出用磁盘阵列来做归档，全面取代磁带库。但是，由于磁盘阵列的技术特性所决定，存储在其中的资料都处在热状态。这就是说，用于归档的磁盘存储系统不应该关机，其重新加电的过程也很复杂。而在提倡“绿色计算”的今天，长期开机很不利于能耗的降低。而且，几十年、上百年的资料，使用频度不一定很高，磁盘和磁带相比，成本效益就更加悬殊。所以说，对于归档来说，磁带库仍然是不可替代的最佳选择。
　　为了更快更方便地读取数据，归档的理想方案应该是VTL(虚拟磁带库)。VTL通常具有几个重要优点，同其他D2D解决方案一样，它们在本质上比磁带更可靠，并且不会出现介质错误、机械故障或起停问题。虚拟磁带机和介质如果使用稳定，则不会磨损;它们也不需要清洁和维护。最重要的是，与物理磁带库相比，企业VTL可以使归档的性能提高一个数量级。不过VTL虽然性能出众、又具有管理便捷的优势，但是其成本依然是一道难以逾越的门槛，这让很多有归档需求用户不得不望VTL兴叹。
　　编看编想
　　中小企业需求不可忽视
　　据企业战略集团(Enterprise Strategy Group)分析，信息的归档和保留——包括文档、
电子邮件
、视频、音频、医学档案等，是当今发展最快的存储领域之一。预计到2012年，全球的数字归档容量将保持近60%的复合年增长率，5年内归档容量总量将实现800%的增长。
　　各类企业机构都面临着这样的问题：需要遵循新的法规进行管理并查找的数字内容显着增多。全球的文件、数据库和电子邮件归档容量均以高达73%的复合年增长率大幅跃升——全部加在一起将近可以装满2万亿个信息储存柜。
　　但是对于中小企业来说，数据量不会一下子增长到这么多，那么对归档是否就没什么需求了呢?其实不是这样的。中小企业——尤其是那些在限制性行业的中小企业——更愿意选择一种可以提供简单归档、不需要任何硬件成本的解决方案，哪怕仅仅是用于要求找回某个电子邮件。据
市场分析
公司Radicati Group预计，电子邮件归档市场的收入将从17亿美元增长到2012年的66亿美元。其中，法规遵从和更好的文件业务交互被认为是促进企业用户进行归档和保留通讯文件的主要因素。


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u2/66684/showart_1291197.html