存储技术20年

pekics

为了写篇回顾综述，我在网上翻看了一下午的计算机发展史。合上电脑，心里只有一个感觉——感慨！
想想20年前，世界上还没有笔记本电脑，没有Internet，也没有手机、PDA，甚至连CD都没有。要是工作在1985年的环境里，该有多枯燥无聊啊！幸亏我那时还只是个小学4年级的孩子，只要有风筝、气球、蜡笔和飞机模型就满足了。
玩笑归玩笑，认真的讲，我认为上世纪80年代计算机技术还是有相当高度的。Apple公司Macintosh的推出，使图形化操作系统界面开始正式进入应用。而且当时的Macintosh就可以支持高达4MB的内存空间，这在当时绝对是奢侈之极的指标。要知道，与其同年代的IBM公司基于80286的PC AT只配置了256KB的内存，软盘驱动器最多也只有720KB而已。

石器时代

IBM PC AT的标准配置不含硬盘驱动器，这在今天显得有些不可理解，可当时那款定价$4000的286的确没有硬盘，如果增配一个20MB的硬盘，需要多花$2000呢。这主要是因为当时的DOS 3.2对硬盘的支持还很不完善，如果安装了硬盘驱动器，还需要安装一个专门的软件来控制它。直到1987年DOS 3.3推出，PC才可以直接使用硬盘，对1.44MB高密度软盘的支持也是在这个版本里才实现的。而大于32MB的大容量硬盘，则是在当年更晚些时候的3.31版本中才得以支持。
上世纪八十年代中期，正是桌面电脑系统中存储技术的萌芽阶段。1984年底Compaq公司开始开发IDE（ATA-1）接口，并被许多同行采纳，逐渐成为桌面硬盘的事实标准。到了1989年3月，E-IDE（ATA-2）标准确立，可以支持超过528MB的硬盘容量，并达到 16.7 MB/s 的传输速度。当时刚刚出现的光盘驱动器，几乎都不约而同的采用了这一标准。从而更进一步确立了IDE技术在桌面系统中的统治地位。
此后，E-IDE标准经历的可谓漫长的稳定期。虽然其间有FastATA（ATA-3）标准的推出，但在用户最关心的问题——读写速度——并没有明显改进。直到1997年，才由昆腾公司牵头推出了速度达33MB/s的新型IDE技术，即UltraDMA/33（ATA-4）标准。随后不久，这一技术又演化出了一系列的UltraDMA/66、UltraATA/100甚至UltraATA/133技术。
很快，133MHz的PCI总线频率使并行ATA的速度提升遭遇瓶颈。于是Intel等公司另辟蹊径，在2002年推出了串行ATA技术，即S-ATA标准。该技术的第一个版本就可以为IDE磁盘提供150MB/s的带宽。而在最近才推出的S-ATA II标准中，支持带宽已经达到了300MB/s之多。这一性能是20年前IDE性能的20倍。
与ATA技术的发展一样，SCSI技术的发展也经历了从量变到质变的过程。从1986年美国国家标准局正式通过SCSI技术标准到现在，SCSI技术从10MB/s、20MB/s、40MB/s……一路发展到了Ultr320技术的320MB/s，同样也遭遇了总线频率瓶颈。今年年内，全新一代的串行SCSI即SAS产品将面市。第一代SAS将提供300MB/s的带宽，其后的SAS二代将支持600MB/s之多，足足是20年前SCSI性能的60倍。
与性能的进步相比，磁盘容量的进步显然更为惊人。今天，SATA磁盘的容量已经可以达到750GB，是20年前最大硬盘容量的40000倍！

存储王国的独立

容量和速度的进步，仅仅是整个存储技术发展中一个小小的伴音，存储系统结构和应用模式的发展才是其真正的主旋律。
1988年，美国加州大学伯克利分校的David Patterson等三个研究者最早提出了RAID的概念。这一概念历史性的改变了磁盘存储在主机系统中的使用模式，使应用系统对存储空间容量和性能的要求第一次脱离了实际物理磁盘的限制。
1994年，用于存储系统的光纤通道技术诞生。它在空前的提升了存储设备通道性能的同时，也使存储系统连接方式更为丰富。随后不久，在九十年代中后期，光纤通道技术催生了SAN的概念，即所谓存储域网。SAN架构的提出，使存储系统正式的脱离主机和运算系统，标志着存储技术作为一个独立技术领域的形成。
1998年国际存储工业协会（SNIA）成立，更加明确了存储技术的独立性。协会成立之初就开始着手制订一系列的技术及协议标准，清晰的界定了存储行业应该涉及的领域以及与相关行业的交互界面。
存储行业成功的独立以及SAN概念巨大的成功，使一批原本默默无闻的公司走入了人们的视野。以光纤交换技术见长的Brocade公司和McDATA公司、以生产光纤适配器为业的Emulex公司、以数据备份保护技术立足的Veritas公司等，都迅速成长为全球知名的企业。
存储行业的领头羊——EMC公司，更是春风得意马蹄疾，一举成为整个高科技行业的旗帜型企业。2000年元旦，美国Nasdaq股票交易市场新世纪开市的钟声，就是由EMC公司前任CEO，现任董事长Michael Ruettgers先生敲响的。
存储行业正式形成之初，与SAN概念一起大行其道的还有一个重要概念不可不提，那就是NAS，即所谓网络附属存储。1999年至2000年间，在NetApp、Auspex等公司的推动下，NAS的受认可程度达到了顶峰，这一点从NetApp公司的发展就可以看出。到2000年全球dot-com泡沫破灭之前，NetApp公司仅凭借其NAS产品的销售，就名列当年全球所有高科技公司第278位，足以令诸多老牌综合性高科技企业汗颜。
从本质上讲，SAN与NAS并非对立技术。但出于业务角度考虑，各存储厂商有意无意的将其对立起来，以至于业界关于SAN和NAS哪个更好的争论持续了数年之久。2001年SNIA建立了共享存储协议标准框架，使人们清楚的认识到SAN与NAS技术的区别与关系，此后争论对比之声渐弱，取而代之的是一片SAN与NAS融合之声。

走向繁荣昌盛

在各种SAN与NAS融合的讨论中，iSCSI技术击败DAFS等对手，逐渐脱颖而出，成为各厂商追逐的热点。2001年其1.0版本正式面市之后，不仅传统存储专业厂商竞相采用，就连IBM、微软、Intel和Cisco这样的IT巨无霸们也纷纷对其窥探尝试。虽然时至今日iSCSI的市场接受度仍是差强人意，但各厂商对此的热情却丝毫不见降温，反倒有愈演愈烈之势。最近两年甚至出现了一批专门进行iSCSI产品开发的小公司，都押宝iSCSI市场能够迅速崛起。
这其中String Bean公司收获不错，将iSCSI SAN技术全盘卖给财大气粗的微软。我们在Windows 2003 R2中看到的iSCSI Target部分，就是来自于这次技术收购。
Left Hand公司则把命运系在与Intel之间的OEM合作，相信其生存之忧也基本可以抛之脑后了。
Intransa公司花光了数千万美元风险投资之后仍然没有打开市场，幸有中国好汉相助——与华为三康公司签订了长期OEM协议——也得以留住青山。
即便暂时没有找到婆家，这些创新型公司也有其他高招。Nimbus公司就干脆把自己的iSCSI Target产品——MySAN iSCSI Target——直接放在网上免费共享。如此热情的播种，相信必会有殷实的收获。
在iSCSI一团火热的同时，虚拟存储技术也蓬勃发展起来。在存储设备端惠普、STK、EMC、HDS等厂商推出了针对磁盘阵列和磁带库等硬件设备的虚拟技术。在主机端Veritas、FalconStor和DataCore等公司也研发出基于各种操作系统平台的软件虚拟技术。还有一些诸如StorAge、SANRAD等交换设备供应商干脆把虚拟技术嵌入到SAN网络中。
虚拟技术并不仅限于逻辑磁盘管理，在线设备与离线设备之间相互的虚拟也发展成一股强大的势力。VTL（Virtual Tape Library虚拟磁带库）的盛行令好多业内行家都大跌眼镜：一个技术上看似过渡性的解决方案竟然如此受市场认可和欢迎。
如果说VTL成功是市场导向的结果，那么D2D（Disk to Disk磁盘备份）备份概念则更像技术导向的目标。D2D的意义并不在于以SATA或FATA磁盘替换磁带，其真正的核心在于以块设备随机I/O模式替代传统的字符设备顺序读写机制。简单的说，VTL改变的是传统备份的底层介质，而D2D改变的是备份任务的工作模式。
D2D与传统备份机制相比，大大简化了管理复杂程度，但对数据保护的保护能力和数据恢复效率却并没有本质的提升。真正从本质上颠覆传统备份工作的是近来另一个热点：CDP（Continuous Data Protection连续数据保护）技术。
CDP这个概念从提出至今还不满4年时间，绝大部分产品都是在2005年之后新鲜出炉。但是提供CDP技术的厂商列表中却不乏如IBM、微软、惠普、Symantec等豪门望族的身影。包括EMC、NetApp、FalconStor、DataCore在内的专业存储厂商也蜂拥而至。甚至出现了一批专门开发CDP产品的技术型公司，如Revivio、Mendocino等。

如此众多的新技术、新理念都与备份保护相关，这美国911事件不无关系。那惊心动魄的一幕让人们在一夜之间改变了对“灾难”的认识，随即以“灾难恢复”为目的的各种技术迅速发展壮大。有基于存储设备的数据同步、有基于主机的文件复制、有基于网络交换设备的卷镜像、还有基于虚拟软件或虚拟设备的……高可用集群和备份软件中纷纷增加和完善“灾难恢复”功能不用说，就连那些传统桌面级磁盘克隆产品也不约而同的冠以“灾难恢复”之名。“容灾”俨然已是“旧时王谢堂前燕，飞入寻常百姓家”。

除了容灾、数据快照、SAN、NAS这些已经耳熟能详的概念，今天的存储领域实在有太多太多的热点，以致于一些初学者奋力良久仍感觉如坠烟雾。我本来希望能够在一幅图片内尽量简明的说明几个热点及其关系，动手开始画的时候才发现，自己不过只是井底之蛙而已。

技术以外的话题

今天的存储行业正经历着从发展到成熟的转型期，一方面新的技术和应用模式层出不穷，另一方面各公司间的并购和各产品技术间的整合也涤荡着全球存储领域。
EMC收购Legato、Symantec收购Veritas，让“独立备份软件厂商”几乎指其无物；
Sun收购STK、Quantum收购ADIC，又让“独立磁带库厂商”面目大变；
Seagate收购Maxtor，令全球磁盘市场几乎变成一言堂；
LSI收购Mylex、DotHill收购Chaparral，基本彻底消灭了“独立阵列控制器供应商”；
Brocade收购McDATA，至少暂时加固了每况愈下的“光纤通道阵营”
相信不久的将来，存储领域也会像其他成熟领域一样，重新回到寡头时代。与20年前不同的是，产品和技术将非常丰富，应用的形式将更加多元化。


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u/23218/showart_159490.html