有奖讨论：寻找节省数据存储成本的有效措施！存储虚拟化、分布式文件系统、集群NAS

山野村夫

占个位置

zsmdev

公司越来越大,这些问题就越来越突出,思考不能停啊
好的管理规划+先进技术

kns1024wh

来晚了

说到当前的文件虚拟化确实是一个很有价值的话题；
企业使用现在的硬件将磁盘的剩余空间有效的利用起来组成一个较大的文件存储空间是比较合适的一个有意义的事情；
FreeNAS、openfiler 选择相对还是将已有的不用的磁盘排列组合成为一个较大的存储空间，并将空间网络化存放，而对于各台服务器上的空余的存放空间如何有效的通过lustre、hadoop、PNFS、Moosefs等集群文件存储方式整合使用，对于企业是一个比较有意义的事情，同时也是可以节约更多的成本的

forward51

前来学习，冒昧问一下一楼第三条是不是打错了
vamware

山野村夫

说实在的虚拟化存储的方案，目前并不是很了解

deadwind

1、面对数据猛增，如何有效区别重点数据？如何了解 数据占用着什么资源?如何监控存储设备状态？

@ 如果有效区别重点数据取决于应用系统的重要性，首先应该根据应用系统的重要性(即数据重要性)程度来对存储资源进行分级，辅以性能、城本等各种因素；保障最核心的数据是存放在最可靠的存储资源上比如高端存储设备，次重要数据存放在中端存储上，比较旧的或相对重要性较低的数据(比如视频监控数据)存放在较低端或较旧的设备上(比如淘汰了的设备或SATA大容量廉价存储设备)；目前由于各家存储厂商的产品互不兼容，并没有很好的集中存储设备监控管理工具，目前还是主要依赖于各家存储自带的管理工具，或通过网络监控软件利用snmp等协议做一些简单监控

   2、在你企业的存储体系中，不同品牌的存储设备是否兼容？如何打破品牌壁垒？

@ 一个大的企业的存储体系架构，可能会跨高中低端都有，由于各种因素，很难保证存储都使用同一品牌，而目前由于厂商利益壁垒因素，存储的兼容性还很差，目前是几乎不兼容的，但建议高中低某个档次的存储选型中，尽量趋向一个品牌，做到横向兼容，这样对于购买或后续管理、维保成本，都能有不少好处；置于打破品牌壁垒嘛，尽管IBM的SVC和HP oem LSI的SVSP均能做到针对不同品牌存储的存储虚拟化，但就目前行业案例来讲，还显得不够成熟，况且本身成本亦不低，但是如果企业上了VMware企业级虚拟化系统，通过Storage VMotion这种技术，某种程度上也算是很好的整合了各种品牌存储的利用，当然并不能去统一管理

   3、你的二手低档存储介质是否已经空置？能否有效将之利用起来？

@ 已经过了维保期且没有必要进行续保(成本一般不值)的中低档设备，可以尽量用来在企业里为各种应用搭建测试环境，或者利用高端存储的外部扩展能力连接在一起做存储分层，拿来做一些归档的应用，充分做到利旧

   4、你是否能做到在不中断业务的情况下，扩容或更新存储设备？如何做到？

@ 能做到，但取决于你使用的存储产品，一般高端存储在这方面做得很好，都能做到在线扩容；很多中端存储号称也可以，但实际中发现有很多问题，一般还是要停应用比较稳妥，同时更新存储设备如果只是firmware更新还较容易，如果更换全新存储设备难度较大，比如如果要将某主机一个lun迁移到新存储设备上，如果没有SVC这种虚拟化设备，也可以用一些主机LVM等功能实现

   5、包括SAN、NAS等多种实际存储环境中，你的方案部署、数据备份的时间成本如何？是否有节省时间的措施？

@ 如果在大型企业环境里，可能对一个大型应用系统的备份会严重影响到主机的负载而拖慢最终用户使用，而且备份效率很低，这时可以通过存储级别的高级功能来实现备份优化，比如对该应用所使用的存储LUN做snapshot或mirror LUN，然后在某个备份时间点来剥离这个mirror，并将mirro LUN的数据挂载到代理备份主机上，让备份系统来备份代理主机上的这个mirror LUN，这样既能提高备份效率，又完全不影响应用，置于存储级别的snapshot或mirror LUN技术，通常对系统负载的损耗是很低的；另外，在一个大规模备份系统的环境中，要针对备份做时间优化，首先必须统计出所有需要数据库冷备的系统的DB停起时间，统计好各种需要备份的系统的数据量、增长率、平均备份时间等信息，然后根据这些信息订制出适合自身应用业务特点的备份策略，这样才能保证备份中不会出现上下班马路塞车这种高峰期出现，才能有效的节省时间；还有，对于NAS设备，应该尽量使用NDMP方式来进行备份，效率高于普通文件级备份

   6、存储虚拟化（文件虚拟化）技术中，技术实现分为：内、带外两种实现方式，到底哪种方案更好？

@ 带内：简单易用，成本相对低，控制流和数据流未分离
  带外：架构复杂一些，成本高一些，控制流和数据流分离

　7、F5、博科等多种文件虚拟化(存储虚拟化)方案，你觉得哪个好？

@ 概念上都差不多，只有测试对比了性能、功能、成本等综合因素才能评价哪个解决方案更好

   8、lustre、hadoop、PNFS、Moosefs等集群文件存储方案，你觉得哪个好？

@ 相对看好pNFS

   9、其他的成本节省措施，或者你所关注的存储问题，欢迎提出来！

@ 有VMware企业级应用的企业，随着新版本vSphere4的发布，有些功能可能会为存储带来成本降低，那就是自动精简技术，其实vmware workstation是具有这样功能的，但这种跑在OS上层的虚拟化本来性能就低，这种功能的磁盘性能满足不了企业级的需求，VMware Infrastructure 3上就还没集成这样的功能，造成的结果就是，创建一个虚拟机，由于担心后续扩展卷或文件系统有难度等因素，通常都是建立一个很大的硬盘，而VI3上面建立的硬盘设定多大，实质就是那么大的VMDK文件，即便很多空间没用用到也只能浪费着，在vSphere4后添加了自动精简技术，你可以创建一个20GB的硬盘，实际是很小的，随着你写入多少容量这个VMDK文件就动态的增大着，这种技术对存储资源的有效利用是非常有益的，有力的降低着成本；另外重复数据删除也是一个好的方向

[ 本帖最后由 deadwind 于 2009-7-8 20:58 编辑 ]

brucewoo

3、你的二手低档存储介质是否已经空置？能否有效将之利用起来？

二手低档存储介质一般用来为各种应用搭建测试环境，或者拿来存放一些不太重要应用系统
的数据备份。如果容量太小，利用价值小于电费，则直接淘汰了。

笑儿

原帖由 草上飞2008 于 2009-7-6 09:35 发表
另外，我们也可以选择、尝试各种软件的分布式文件系统解决方案（集群文件系统、集群存储系统），来管理这些数据。例如lustre、hadoop、PNFS、Moosefs等等。
    3、其他的虚拟化解决方案，例如用Vamware等，

名称是不是写错了啊~

gamester88

呵呵，对于虚拟化存储不是太了解啊

bbjmmj

原帖由 剑次狼 于 2009-7-8 16:41 发表
1、面对数据猛增，如何有效区别重点数据？如何了解 数据占用着什么资源?如何监控存储设备状态？
貌似对于现在数据猛增情况下，有足够经济的企业采用统一存储类，而一般中小公司会想各种替代方法来实现。

我觉得现在存储技术面临的最大难题是PC硬盘容量的飞速增长，基本上5到6年增长十倍，而且性能提升也非常快，如果采用SAS、FC、SCSI一类的小容量服务器硬盘，根本就无法解决PC容量飞涨的的问题，所以我觉得，使用PC硬盘做网络存储，才是最根本的解决之道。
某以为，高效费比的存储方案，因为效费比高就意味着商业利益大幅减少，商家肯定是不会做这个东西，所以就只能从开源软件里面找了。