有奖讨论：寻找节省数据存储成本的有效措施！存储虚拟化、分布式文件系统、集群NAS

草上飞2008

前段时间讨论了数据备份省钱之道，现在，在2009系统架构师大会召开之前，我们再次展开“数据猛增，如何有效降低数据存储管理成本？”的主题讨论，欢迎大家积极参与。

    话题背景：在当前的经济危机下，企业在减少各种成本然而，有一项却是不能节省，反而需要增加的项目：这就是数据存储管理！为了降低数据存储管理成本，现在有多种数据存储解决方案可供选择：

   1、软硬结合的“文件虚拟化”解决方案（存储虚拟化）
   当前，F5、博科等厂商推出了“文件虚拟化”解决方案，例如，F5 ARX文件虚拟化技术能够隐藏所有你的物理设备，通过子物理设备上面构建一个新的层，本质上也就是为那些NAS设备提供一个对外的逻辑视图，通过这种方式来实施各种好处。

   2、纯软件数据存储管理方案：
    另外，我们也可以选择、尝试各种软件的分布式文件系统解决方案（集群文件系统、集群存储系统），来管理这些数据。例如lustre、hadoop、PNFS、Moosefs等等。
    3、其他的虚拟化解决方案，例如用Vmware等，

   有奖讨论时间：2009.7.6-7.30
   主题讨论范围（备选话题）：
   1、面对数据猛增，如何有效区别重点数据？如何了解 数据占用着什么资源?如何监控存储设备状态？
   2、在你企业的存储体系中，不同品牌的存储设备是否兼容？如何打破品牌壁垒？

   3、你的二手低档存储介质是否已经空置？能否有效将之利用起来？
   4、你是否能做到在不中断业务的情况下，扩容或更新存储设备？如何做到？

   5、包括SAN、NAS等多种实际存储环境中，你的方案部署、数据备份的时间成本如何？是否有节省时间的措施？
   6、存储虚拟化（文件虚拟化）技术中，技术实现分为：内、带外两种实现方式，到底哪种方案更好？

　7、F5、博科等多种文件虚拟化(存储虚拟化)方案，你觉得哪个好？
   8、lustre、hadoop、PNFS、Moosefs等集群文件存储方案，你觉得哪个好？
   9、其他的成本节省措施，或者你所关注的存储问题，欢迎提出来！

   针对以上问题，欢迎大家参与讨论，其中包括：
   A：针对以上问题（可随意选取），发表你的观点、看法，或者提问疑问。
   B：大家相互交流，共同进步。

   为了丰富讨论，我们提供了一种专业的数据分析管理工具－－"X－ray Data Manager"，通过这个软件，我们可以区别重点数据、了解 数据占用着什么资源，以及监控存储设备状态等。
    大家如果想到下载这个软件，可访问：“想要透视你的存储环境？那就注册下载Data Manager，看究竟！”http://f5event.beijingwizard.com/dm/

    主题讨论激励：
    参与本次讨论者，我们将选出精彩发贴讨论者，以获以下奖励：

    1、所有热心参与我们有奖讨论的网友将获得CU可用积分200
    2、在精彩回贴中，选取10名获奖者，获取 CU新版T桖（阿迪达斯），数量：10件。
    3、如果想参加 2009系统架构师大会，可向 草上飞2008 申请 最优惠大会门票。（7.20号以后，此条款将起作用）

    4、志愿者选取，本次活动中，选取产生6名2009系统架构师大会志愿者！(活动结束)

     大家如果有什么问题，可以致电唐川（草上飞2008），13810185479，邮箱：tang_chuan@tom.com。

[ 本帖最后由 草上飞2008 于 2009-7-16 14:32 编辑 ]

草上飞2008

寻找节省数据存储成本的有效措施活动已经结束,下面是本次活动的获奖者信息

用户名	奖品
aaaaa5aa	CU论坛积分200分
bbjmmj	CU论坛积分200分
bbskuang	CU论坛积分200分
blackjack550	CU论坛积分200分
brucewoo	CU论坛积分200分
deadwind	CU论坛积分200分
frangce	CU论坛积分200分
frideing	CU论坛积分200分
kns1024wh	CU论坛积分200分
lasama	CU论坛积分200分
ldw21cn	CU论坛积分200分
leetaedong	CU论坛积分200分
Lingsyser	CU论坛积分200分
markinger	CU论坛积分200分
ruochen	CU论坛积分200分
sery	CU论坛积分200分
shawnlee	CU论坛积分200分
sparkingcn	CU论坛积分200分
terrous	CU论坛积分200分
wadezq	CU论坛积分200分
wxfjx	CU论坛积分200分
冬瓜头	CU论坛积分200分
剑次狼	CU论坛积分200分

                           

  

用户名	奖品
aaaaa5aa	CU 新版T恤一件
blackjack550	CU 新版T恤一件
ldw21cn	CU 新版T恤一件
Lingsyser	CU 新版T恤一件
sparkingcn	CU 新版T恤一件

积分会在本月底统一为大家添加，请CU新版T恤的获奖者将个人信息通过站内短信的形式发送给"vcanb"，发送信息：
                 姓名:
                 电话:
                 地址:
                衣服码号：
衣服码号请参照：http://bbs3.chinaunix.net/thread-1491367-1-1.html

草上飞2008

原帖由 sery 于 2009-7-8 16:07 发表
我已经用moosefs实施了几个访问量大 数据量大的项目

moosefs的站点是 http://www.moosefs.org

sery说的moosefs，是不是这样的结构？

1、        元数据服务器。在整个体系中负责管理管理文件系统，目前MFS只支持一个元数据服务器master，这是一个单点故障，需要一个性能稳定的服务器来充当。希望今后MFS能支持多个master服务器，进一步提高系统的可靠性。
2、        数据存储服务器chunkserver。真正存储用户数据的服务器。存储文件时，首先把文件分成块，然后这些块在数据服务器chunkserver之间复制（复制份数可以手工指定，建议设置副本数为3）。数据服务器可以是多个，并且数量越多，可使用的“磁盘空间”越大，可靠性也越高。
3、        客户端。使用MFS文件系统来存储和访问的主机称为MFS的客户端，成功挂接MFS文件系统以后，就可以像以前使用NFS一样共享这个虚拟性的存储了。

草上飞2008

原帖由 forward51 于 2009-7-8 19:08 发表
前来学习，冒昧问一下一楼第三条是不是打错了
vamware

呵呵，不好意思啊，多了一个字母

草上飞2008

原帖由 草上飞2008 于 2009-7-6 09:35 发表
前段时间讨论了数据备份省钱之道，现在，在2009系统架构师大会召开之前，我们再次展开“数据猛增，如何有效降低数据存储管理成本？”的主题讨论，欢迎大家积极参与。

    话题背景：在当前的经济危机下，企业 ...

转一下：ecloud的发贴，

集群技术中，最令人头痛的就是文件的共享，尤其是那些需要读写操作，并且非常频繁的
当前在这方面的技术很多，包括使用NAS/SAN，NFS等传统的网络共享，或者rsync这种非“实时”的方式等等，以及新兴的“网络文件系统”，具有代表性的就是Google

我认为，在普通的网站、电子商务、BS应用软件等领域，过分的研究网络文件共享是有点南辕北辙了
我们为什么那么执著于通过网络共享某个文件，而不从另一个角度改变我们使用这个文件的方式呢？或许我们原本可以不使用这个文件的呢？
因此我认为，我们应该更加从应用层的角度来设计、优化我们的集群而不是过分追求底层的东西。以前我们的一些观点是错误的，“一个为单机运行设计的程序，使可以直接放在一个集群的环境中得到加倍的效果”，这种观点是非常大的误解。网络环境同单机环境有着很大的不同，只有为集群环境量身定做的程序才能够最大限度发挥出效能，同时也便于管理和使用。
幸运的是我们并不需要自己动手来大量的修改我们的程序，现在已经有许多的现成的应用框架，我们可以直接使用。
比如，Websphere ND就是一个非常好的集群应用服务器，标准的ear或者war包可以不需要任何的修改直接部署在Websphere ND环境中，就可以提供集群化的应用服务，所有的session和数据库连接池的处理都由应用服务器来完成，不需要任何人工的干预。
当然这一切的根本是J2EE内建的技术规范提供的良好支持，同样Weblogic和iPlanet等其他的应用服务企业提供类似的功能。
另外一个开源软件的例子就是Zope，Zope也内建了类似的集群功能，同样有Zope服务器来管理session和数据库连接。比如通常的索引功能，在数据吞吐量不是非常巨大的情况下，我们完全可以直接使用Zope的索引服务，而不用再关心传统索引技术中索引文件的网络共享问题了。

所以我认为，一个好的集群应用方案，首先要对应用编程环境进行正确的选型，这样才能做到事半功倍。另外在程序设计过程当中，尽量使用应用服务器的内建功能，或者把那些需要事务处理的逻辑放入数据库中，利用数据库系统现成的事务处理功能。这样就能够大大简化，甚至是彻底消除网络架构上可能带来的各种麻烦。

而对于那些原有的PHP或者cgi编写的应用程序，我觉得最稳妥简便的方法是进行人工分片+url改写，把整个网站分成www1-www10等多个小块儿，这种方法虽然看上去很土，但是的确非常稳定并且有效。只是需要一定量的前期人工操作。一些很大的专业公司的网站，比如ibm,microsoft等曾经长期使用这种技术，这被证明是非常有效的。