有奖讨论：寻找节省数据存储成本的有效措施！存储虚拟化、分布式文件系统、集群NAS

frideing

原帖由 草上飞2008 于 2009-7-6 09:35 发表
前段时间讨论了数据备份省钱之道，现在，在2009系统架构师大会召开之前，我们再次展开“数据猛增，如何有效降低数据存储管理成本？”的主题讨论，欢迎大家积极参与。

    话题背景：在当前的经济危机下，企业 ...

    我也来说两句哈，
     文件虚拟化？  是不是  全局命名空间 这玩意啊？


    实施全局命名空间(GNS)是高效管理分布式文件存储的关键：它对于文件存储的作用就好像是DNS对于网络的作用一样。全局命名空间使客户端在无须知道分散文件位置的情况下，直观地访问这些文件(就像我们访问Web站点而并不知道IP地址一样)。它还让管理员能够在一个控制台上管理分散在不同位置处的异构设备上的数据。

    文件虚拟化方案能够轻松建立和管理任何大小的全局命名空间。在部署文件虚拟化方案以后，用户访问文件的方式发生巨大变化，从原来访问物理文件存储设备转换成为一个统一的逻辑视图。用户可以拥有自己的文件夹，也可以访问权限可达的通用文件夹。

    全局命名空间是位于客户(用户和应用)和文件系统之间一个逻辑层，提供了一种独立于文件物理位置的文件察看和访问方法。其结果是，管理员能够使用一个命名空间逻辑的排列和显示给用户，不考虑数据的实际位置。

    有了逻辑的全局命名空间，管理员就能够以取得最佳的性能和容量使用的方式存放文件，用户则能够通过命名空间访问文件。当增加或者整合存储设备以及文件被移动或者改名时，客户端将被自动指引到新的文件存放位置，并不知道文件已经被移动。在重新配置存储设备时，不需要对桌面电脑进行重新配置，重新分配盘符，或者修改登录脚本。

    目前在市场中也存在一些具有监测功能的工具，可以提供大量有关存储环境状态的信息，但是，这些工具都属于被动的类型，无法进行主动的数据管理工作，而文件虚拟化则可以。总体来说，文件虚拟化可以大幅度简化存储管理、提高灵活性并降低成本，它主要通过认证和分析来优化网络存储，从而解决在容量、性能以及分级存储等方面问题。

bbskuang

第一，尽量不买贵的阵列
第二，尽量用sun或其他公司的openstorage
第三，尽量用红帽GFS或BSD的MOOSEFS
第四，尽量听草上飞唐哥的推荐。

报告完毕

terrous

讲省钱啊，能把以前的旧存储设备都用起来，就能省不少，


转转这个，呵呵

盘点2009年存储存储备份省钱省时十大方法


在当前经济不景气的形势下，企业不得不缩减各方面的的预算，存储也不例外。然而，全球数据量的爆炸式增长并没有因此而减缓，这使得存储环境变得越来越复杂，大大增加了存储备份的管理难度。本文盘点了2009年存储备份管理员省钱省时的十大方法。

磁带存储
在存储领域，最廉价的存储介质当属磁带。Sun StorageTek SL8500磁带库的磁带数量高达8500。一个LTO-4磁带盒可以容纳800GB的数据，如果压缩率为2：1，则可以容纳1.6TB的数据。8500乘以1.6TB就是13.6PB数据。一个LTO-4磁带盒成本大约在50美元左右，假设磁带库的成本在50万美元，其中42.5万美元为磁带盒的成本，7.5万美元为磁带驱动器（10个）的成本，那么储存13PB数据只需要100万美元。没有任何其他存储介质能比磁带更便宜了，有的初始成本甚至能达到200万美元。另外，由于磁带存储平时是空闲的，不需要任何电力或能源消耗。因此，磁盘存储所需的成本往往会比磁带存储高好几百倍。磁带盒是可以移动的，可以从一个站点发送到另一站点以保护数据和灾难恢复。若是用磁盘替换磁带，你就不得不在其他地点也拥有同样容量的磁盘空间，然后将数据复制到这个昂贵的异地磁盘空间内。

MAID
有些数据很少被访问，它们是否应该存储于持续转动、耗电和发热的存储介质中呢？MAID技术对这个哲理性问题的回答是“不”。MAID技术可以让不需要使用的磁盘停止转动，这不仅省钱，而且大大地提高了设备的可靠性。因为设备清闲下来后，出现故障的几率也会小一些。

重复数据删除
让我们为删除重复数据欢呼吧！管理的数据越少，备份也就越快，恢复也越快。重复数据删除降低了存储容量需求，不仅能减少资本投入，还能降低运营成本。

数据压缩
重复数据删除可以让10个相同的2MB文件变为一个2MB文件。数据压缩则可以让这个2MB的文件变为一个200KB的文件。那么，20MB将变为200KB了。数据压缩可以让文件变得更小，通常能将文件大小降低几个数量级。如果你有10个相同的压缩文件，那么重复数据删除可以移除重复的数据，只留下一个物理文件和指向该文件的指针。没有数据压缩，重复数据删除留给你的是一个未压缩的文件，尽管节省了不少容量，但效果还是不如结合使用重复数据删除与数据压缩。

自动精简配置
为一个10GB的数据库配置500GB的存储空间势必会减少了其他应用的可用空间，但是数据库大小又是不断增长的，不留余地也不行。因此，你不得不购买高于实际需要的存储容量。自动精简配置可以解决这个难题。它允许只在实际需要时才释放存储空间，而不用过度分配存储空间。这不仅降低了容量需求，而且降低了能耗和存储设备的占地面积。

信息周期管理（ILM）
如果执行合理，ILM会有多个存储层，你可以用最合适的价格获得最合适的容量和性能，不仅效果更好，而且从初次购买到每一级数据保护管理都会更有效率。

固态硬盘（SSD）
固态硬盘（SSD）的容量日益增长，价格逐渐走低。与物理磁盘相比，固态硬盘不仅性能优越，而且降低能耗（没有运转的磁盘）。要达到8个SSD的性能速度，可能需要200个最快的FC驱动。在未来的两年内，SSD的价格还会大幅降低，SSD将会成为更高容量环境的解决方案。

SATA磁盘
与FC驱动相比，SATA磁盘的确容量更高、速度更慢、可靠性更低。但是，SATA的物理体积更小、容量更高，适合于优先级较低的应用、磁盘到磁盘备份或归档数据，可以帮助企业节省资金、占地面积和机架空间。

存储资源管理（SRM）
SRM软件可以让存储管理员高效地管理分散于各个物理地点的数据，而不再需要奔波于各地去分别进行管理和更改。如果一个文件存在于主存储、次级存储、磁带和灾难恢复地点，而现在你需要更改该文件的策略，通过SRM工具你只需在一个屏幕中更改设置然后应用到该文件即可，不用管这个文件到底位于什么物理位置。
存储整合
存储整合技术不仅减少了硬件部件数量、降低了维护成本和故障点数量，而且拥有很多称得上是“绿色”技术的功能。存储桥（storage bridge）让所有不同类型的存储都位于控制器之后，而不是分别拥有单独的网络，这样的技术当然是绿色的。存储控制器可以虚拟化各厂商的存储阵列，这不仅降低了初始成本，也不需专门培训员工了解每个系统的细节。

xinyv

很不错的话题，先占个位置，听诸位高论。

axlrose

草上飞2008

原帖由 sery 于 2009-7-8 16:07 发表
我已经用moosefs实施了几个访问量大 数据量大的项目

moosefs的站点是 http://www.moosefs.org

sery说的moosefs，是不是这样的结构？

1、        元数据服务器。在整个体系中负责管理管理文件系统，目前MFS只支持一个元数据服务器master，这是一个单点故障，需要一个性能稳定的服务器来充当。希望今后MFS能支持多个master服务器，进一步提高系统的可靠性。
2、        数据存储服务器chunkserver。真正存储用户数据的服务器。存储文件时，首先把文件分成块，然后这些块在数据服务器chunkserver之间复制（复制份数可以手工指定，建议设置副本数为3）。数据服务器可以是多个，并且数量越多，可使用的“磁盘空间”越大，可靠性也越高。
3、        客户端。使用MFS文件系统来存储和访问的主机称为MFS的客户端，成功挂接MFS文件系统以后，就可以像以前使用NFS一样共享这个虚拟性的存储了。

daui9999

纯粹参与

支持一下

Lingsyser

原帖由 草上飞2008 于 2009-7-6 09:35 发表
前段时间讨论了数据备份省钱之道，现在，在2009系统架构师大会召开之前，我们再次展开“数据猛增，如何有效降低数据存储管理成本？”的主题讨论，欢迎大家积极参与。

    话题背景：在当前的经济危机下，企业 ...

问一下，文件虚拟化，跟 集群NAS虚拟化 有关系没？

剑次狼

1、面对数据猛增，如何有效区别重点数据？如何了解 数据占用着什么资源?如何监控存储设备状态？
貌似对于现在数据猛增情况下，有足够经济的企业采用统一存储类，而一般中小公司会想各种替代方法来实现。

aaaaa5aa

1、面对数据猛增，如何有效区别重点数据？如何了解 数据占用着什么资源?如何监控存储设备状态？

这个问题我想最重要的就是要用到数据管理与数据挖掘技术（Data Mining），交互式地实现数据管理
与报表生成，从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式。像著名的统计分析,
数据挖掘产品SPSS。将这些最核心的数据是存放在最可靠的存储资源上并且做好相关备份，就当前的云
计算来说，并不是一个很好解决的问题，因为企业不可能把数据放在公共的存储空间，那样很不安全。
目前市面上还没有很好的监控存储设备状态软件，只能是各自做好适用于自身的监控软件。

2、你是否能做到在不中断业务的情况下，扩容或更新存储设备？如何做到？

从理论上来说，要做到在不中断业务的情况下，扩容或更新存储设备是容易的，而且很多厂家提供了全方
位的软件助你解决这些问题，比如：通过StorageFoundation，企业内部用户可以自由使用分散在不同
物理设备上的所有存储资源，而无需关心这些存储资源所处的物理位置、容量大小、设备类型和制造商如
何，这些都将从单一的逻辑视图中实现调配。此外，StorageFoundation能够在不离线的情况下，将数
据动态且透明地从一台设备迁移到另外一台设备。EMC存储设备也提出了相关解决方案。
但实际中很可会遇到有关问题，个人认为还是停应用比较稳妥，这样能保证数据的安全。

3、存储虚拟化（文件虚拟化）技术中，技术实现分为：内、带外两种实现方式，到底哪种方案更好？

根据控制和数据路径(拓扑结构)的不同，存储虚拟化分为对称(或叫带内in-band)与不对称(或叫带外
out-of-band)两种方式。这两种方式的主要区别在于存储网络中数据I/O与控制信息是否使用同一通道。
个人认为，带内虚拟化容易造成网络拥塞，降低了性能，同时容易产生瓶颈和单点实效，帮其在应用中
往往是冗余配置。还是带外的比较好一点。

[ 本帖最后由 aaaaa5aa 于 2009-7-11 13:50 编辑 ]