磁带机压缩备份原理

apiggy

我在备份的时候启用了磁带机的压缩备份功能。哪位大虾知道磁带机是如何实现压缩备份的？我是说数据经过压缩以后，在磁带上的长度和偏移量都发生了变化。在RESTORE时磁带机怎样在磁带上找到正确的数据位置和数据长度？ 数据经过压缩后，磁带机是不是附加写了一些信息到磁带上？在磁带上的压缩数据结构是什么样的？

或者我在哪里可以找到有关这些的资料呢？

多谢指点。

大坏蛋

硬件压缩。

wemduyu

磁带机是一种经济、可靠、容量大、速度快的备份设备。在所有备份介质中，磁带的成本最低，而且容量最大，速度最快。采用高纠错能力编码技术和写后即读通道技术的磁带机还可以大大提高数据备份的可靠性。目前，磁带机技术可分为Travan技术、QIC技术、DAT技术、8mm技术、1/2英寸技术和LTO技术。其中DAT技术磁带机占据的市场份额最大，已成为备份设备的主流。Travan技术磁带机基本保持着原有的销售势态。QIC技术磁带机市场正在迅速下降，8mm技术磁带机的客户群体也在萎缩。LTO技术磁带机是一种新技术产品，具有许多应用优势，市场前景十分看好。下面就来简单地介绍这些磁带机技术。

　　Travan技术：这种采用工业标准Travan磁带格式的磁带机以历史悠久、技术成熟著称，并以稳定的可靠性和低廉的价格赢得了市场的青睐，加上这种磁带机所使用的磁带容量为20GB，恰好与目前大容量硬盘的容量不谋而合，因此具有较为广阔的市场。Travan磁带机的安装比较方便，并口驱动器是用户非常熟悉的，只是内置EIDE接口的磁带机安装起来稍微有些复杂。随磁带机捆绑的软件还可以恢复单个或多个文件，也可以进行自动无人值守备份。这类磁带机装载的软件通常具有灾难恢复功能，可以加快硬盘发生故障后灾难恢复的进程，使操作更加便捷，克服了传统磁带机在恢复数据之前必须先重新安装好操作系统和备份软件的缺陷。

　　QIC（1/4英寸带卷）技术：这类磁带机的磁带宽度为1/4英寸，其盒式磁带也被称作1/4英寸磁带。磁带有两种规格：DC6000和DC2000。其中DC6000磁带的驱动器是5.25英寸，已被淘汰。DC2000磁带的驱动器只有3.5英寸，并且价格低廉，标准化程度高，生产厂家众多且相互兼容，一盒DC2000磁带的存储容量一般为400MB，是目前应用较多的磁带之一。

　　DAT（数字音频磁带）技术：该磁带机的磁带宽为0.15英寸（4mm），又称为4毫米磁带机技术，是一种用途广泛的数据备份产品。DAT磁带盒较小，体积为73mm×54mm×10.5mm，比一般录音机磁带盒还小。由于存储系统采用了螺旋扫描技术，这类磁带的存储容量很高。DAT磁带系统一般都采用即写即读和压缩技术，既提高了系统的可靠性和数据传输率，又提高了存储容量。目前一盒DAT磁带的存储量可以达到12GB，压缩后则可以达到24GB。DAT磁带机的生产厂商较多，用户的选择余地较大
8mm磁带机技术：该技术是一种由Exabyte公司开发、适用于大中型网络和多用户系统的大容量磁带技术。8mm磁带驱动器采用螺旋扫描技术，使用的磁带较宽，具有很高的存储容量，一盒磁带的容量可以高达14GB以上。

　　1/2英寸磁带机技术：这类磁带机又分为DLT（数字线性磁带）磁带机和IBM3480/3490/3590系列磁带机。其中，DLT磁带由DEC和Quantum公司共同推出，用于DEC网络高端系统。DLT磁带技术发展较快，已成为备份技术的重要标准，容量大、速度快的特点更是使1/2英寸磁带机在中高端备份系统中独占鳌头。每盒DLT磁带的容量高达35GB，单位成本较低。IBM3480/3490/3590系列磁带由IBM公司生产，每盒磁带的存储容量高达10GB，所对应的驱动系统实际上是一个磁带库，可以存放多盒磁带，其机械手可自动选择其中任意一盒磁带放到驱动器上。

　　LTO（线性磁带开放协议）技术：LTO技术是一种结合了线性多通道双向磁带格式的存储技术，该技术将服务系统、硬件数据压缩、优化磁道、高效纠错和提高容量等多项技术特长，融为一体。LTO是一种"开放格式"，这意味着用户可以使用多种规格的存储介质，其开放性还可以带动更多的发明创新，减少新技术开发风险，从而降低产品价格，使用户受益。

　　线性记录读写技术：这种技术采用线性记录方式读写磁带上的数据，其读写技术与录音机磁带记录的工作原理基本相同，磁带机磁头静止，磁带平行于磁头高速运行，进行数据记录或读出操作。采用这种技术的磁带机的机械驱动系统设计简单、读写速度较低、磨损小，磁带的可靠性高，容量可以扩充，价格也较低。但是由于数据在磁带上的记录轨迹与磁带两边平行，所以数据存储利用率较低。为了提高磁带的利用率和读写速度，人们研制出了多磁头平行读写方式，这种技术的确提高了磁带的记录密度和传输速率，但是同时也使驱动器的设计变得复杂，成本也随之增加。另外，线性记录读写磁带机还在记录介质、磁头设计和固件方面做了许多重大改进，其中的蛇形记录技术可以使磁带机先沿整条磁带写入一个磁轨集后，再重新定位磁头，反方向沿整个磁带写入另一个磁轨集。这样的线性记录方式可以在磁带上写52遍，写入208条磁轨，大大提高了数据记录率和读写速率。DLT磁带机所采用的就是线性记录技术。

　　螺旋扫描读写技术：采用螺旋扫描方式读写磁带上数据的磁带机，其读写技术与录像机磁带记录的工作原理基本相似，磁带缠绕磁鼓的大部分，并水平低速前进，磁鼓在磁带读写过程中反向高速旋转，安装在磁鼓表面的磁头在旋转过程中完成数据读写工作。由于磁头在读写过程中与磁带保持15度倾角，磁道在磁带上以75度倾角平行排列，这样就可以在同样磁带面积上获得更多的数据通道，充分利用磁带的存储空间，因此螺旋扫描读写技术拥有较高的数据存取密度。现代螺旋扫描读写磁带机普遍采用了写后读技术和方位角记录技术。写后读技术就是每当安装着磁头的磁鼓旋转一周，便利用一个磁头写数据，随后再利用读磁头来校验写入数据的正确性。采用写后读技术，磁带机只要检测到错误，就对数据进行重写，直到读出的数据没有错误为止。方位角记录技术则是指利用安装在扫描器不同角度的磁头在磁带上形成的人字形或V字形轨迹，可以大大提高磁轨的容错性能。DAT磁带机采用的就是螺旋扫描读写技术。

apiggy

To 大坏蛋: 我知道是用的硬件压缩。你好象没明白我的问题。我要问的是磁带机的硬件压缩是如何实现的？它的原理是什么？它是如何实现对上层应用程序是透明的？Storage Manager是否参与了压缩工作？磁带机或Storage Manager是怎样处理压缩后的数据长度和在磁带上的偏移量的？最简单的情形是压缩备份后，如果应用程序要恢复其中的一个文件，磁带机是怎样定位这个文件在磁带上的长度和偏移量的？因为不同文件的压缩比是不一样的，我想磁带机一定在某个地方存储了索引信息。这个信息放在哪里，是由谁来管理的？

To wemduyu：首先谢谢您老哥的回复， 但好象没有回答我的问题，不是我想要的。

大坏蛋

看看这篇文章，能不能对你有点帮助？
http://www.yesky.com/ServerIndex/77130770753257472/20030424/1665406.shtml

wemduyu

我的理解是这样的：
压缩的差别主要在算法上，高质量的压缩算法需要很大的运算量，用软件实时完成比较困难，也影响效率，所以改为主要依靠硬件电路来实现，这个只是为了加快效率，跟3D加速卡的意思是一样的。
那么所谓的硬件压缩，就是各公司根据自己的需要，对压缩算法的选择不同了。从这个意义上来说，硬件压缩和软件压缩对使用者来说没什么不同，只不过软件压缩需要配相应的压缩软件，硬件压缩需要相应的驱动程序。
磁带是顺序存放的，那存储在上面的文件自然就会带有相应的存储信息。索引信息？不管放在那里，都要转到相应的文件开始部分才行，不是随即存储的，索引可以加快寻址速度。
要想把算法的详细情况搞清楚，那可就涉及到商业机密了，要不然肯定会出现通用的磁带机了。HP和IBM也就没什么区别了。