蛮多肉 发表于 2015-07-24 20:22

存储,数据之大事,生死之地,存亡之道,不可不察也

获奖名单已公布:http://bbs.chinaunix.net/thread-4186648-1-1.html



话题背景:
      存储,数据之大事,生死之地,存亡之道,不可不察也,没有存储,就没有数据,没有数据,那剩下的就只有幻想。大企业或特殊行业定制存储方案,中小企业选择商用方案,当中不乏"云上云下","线上线下","同步异步"在各种需求的环境中,业务对存储的需求都不尽相同。数据库业务,备份业务,容灾业务,等等都在不断的细分!个别应用环境,除了对数据读写速度和效率要求较高外,还对存储数据的容量和同异步提出了新的要求和高度。需求没有止步,还在不断的增加。业务没有停止,还在不断的发展。数据存储的领域,依旧在不断拓宽和加深!今天的专家,明天就可能被新技术边缘化了。在这个充满挑战和机遇的领域,持续的更新知识储备是唯一的选择!



讨论话题:
1 您现在的业务环境,所选择的数据存储方案?有什么优劣势?
2 中小企业如果选择云存储,机密数据建议如何备份处理?
3 数据存储未来的趋势,你是否能预测下,会如何发展?
4 自己在数据存储中,积累的一些软硬件心得(例如:IBM v7000的使用经验等)



讨论时间:
2015年7月27日--2015年8月27日



活动奖励:活动结束后,我们将选取3名讨论精彩的童鞋,可获赠SACC2015大会纪念品一件。
http://bbs.chinaunix.net/data/attachment/forum/201507/24/113642ju7p8mk5kpppe53p.png
http://bbs.chinaunix.net/data/attachment/forum/201507/24/133008uoltl1ob1b4yo7o1.jpg
http://bbs.chinaunix.net/data/attachment/forum/201507/24/1330077yx5f5ngm76ryvmd.jpg

http://bbs.chinaunix.net/data/attachment/forum/201507/24/1137149jdxc3ijujjx334c.jpghttp://bbs.chinaunix.net/data/attachment/forum/201507/24/113719mxe990ecry9pz5s2.jpg
http://bbs.chinaunix.net/data/attachment/forum/201507/24/113726agoaz006jjelz0ke.jpghttp://bbs.chinaunix.net/data/attachment/forum/201507/24/1137230y0jrrb8r088ir80.jpg




      一年一度的中国系统架构师大会震撼来袭了!SACC2015将于10月22日-24日在北京新云南皇冠假日酒店盛大召开,届时大会将云集来自五湖四海的2500名IT同胞们。
      从2009年到现在,我们伴随着中国系统架构师大会走过了七个春秋,从最早的500人规模逐年升级到现在的2500人规模,这些年我们目睹了整个IT架构的变迁史,也见证了中国IT圈内一波又一波的架构师成长之路。
      当天真遇到现实,会发生哪些趣闻轶事?当架构师遇到互联网+,又会擦出怎样的火花?2015中国系统架构师大会以“互联网+重塑IT架构”为主题,站在互联网+的风口上,诚邀百余名演讲嘉宾,打造一场架构师腾飞的技术盛会。
      欢迎有兴趣的小伙伴们踊跃报名:http://sacc.it168.com/

关注大会官方微信,微信转发本条微信图文信息,晒截图即可赢得大会徽章一套:http://bbs.chinaunix.net/data/attachment/forum/201507/24/141536s1rnn6r12im66n02.png
http://bbs.chinaunix.net/data/attachment/forum/201507/24/114020gozzhmuoqtchhluj.jpg

wenhq 发表于 2015-07-27 11:38

1 您现在的业务环境,所选择的数据存储方案?有什么优劣势?
现在存储都放到了分布式文件系统里了,不再使用以前的那种磁带备份了。
优势,高可用,容错强。稳定高,性价比高。
2 中小企业如果选择云存储,机密数据建议如何备份处理?
机密数据本地,云盘实时同步。
3 数据存储未来的趋势,你是否能预测下,会如何发展?
方便,价格将来竞争的热点,
4 自己在数据存储中,积累的一些软硬件心得(例如:IBM v7000的使用经验等)
不建议用企业级存储啦,毕竟cost在哪里放着,如果不差钱。。忽略吧。

蛮多肉 发表于 2015-07-27 17:07

为了更好的讨论,先抛砖引玉下

向新手扫盲下,常见的四种存储基本方式

在实际业务中,以下几种方式,常常混合使用!

    在线存储 (Online storage):有时也称为二级存储。这种存储方式提供最好的数据获取便利性,大磁盘阵列是其中最典型的代表之一。这种存储方式的好处是读写非常方便迅捷,缺点是相对较贵并且容易因为误操作或者防病毒软件的误删除而使数据受到损害。

  近线存储 (Near-line storage):有时也称为三级存储。比起在线存储,近线存储提供的数据获取便利性相对差一些,但是价格要便宜些。自动磁带库是其中的一个典型代表。近线存储由于相对读取速度相对较慢,主要用于归档较不常用的数据。

  脱机存储 (Offline storage):这种存储方式指的是每次在读写数据时,必须人为的将存储介质放入存储系统。脱机存储用于永久或长期保存数据,而又不需要介质当前在线或连接到存储系统上。脱机存储的介质通常可以方便携带或转运,如磁带和移动硬盘。

  异站保护 (Off-site vault):为了防止灾难或其他可能影响到整个站点的问题,许多人选择将重要的数据发送到其他站点来作为灾难恢复计划的一部分。这种存储方式保证即使站内数据丢失,其他站点仍有数据副本。异站保护可防止由自然灾害、人为错误或系统崩溃造成的数据丢失。

:em03:

hello_unix 发表于 2015-07-27 19:56

针对楼上的第四条
  异站保护 (Off-site vault):为了防止灾难或其他可能影响到整个站点的问题,许多人选择将重要的数据发送到其他站点来作为灾难恢复计划的一部分。这种存储方式保证即使站内数据丢失,其他站点仍有数据副本。异站保护可防止由自然灾害、人为错误或系统崩溃造成的数据丢失。

现在很多企业都有存储远程复制的灾备中心,一定要注意,定期做flashcopy(snapshot),不然逻辑损坏的情况下,这种复制带来了跟主存储一致的损坏效果
这两台,我正为一个灾难恢复忙碌,体会深刻
    有pprc,但是灾备端没有定期flashcopy,所有,主存储故障后,灾备端存储也没有意义

tomac_cu 发表于 2015-07-27 21:59

1 您现在的业务环境,所选择的数据存储方案?有什么优劣势?
    RAID 1 ,数据量不大时,成本和性能都很好。

2 中小企业如果选择云存储,机密数据建议如何备份处理?
      机密数据按规定隔离。

3 数据存储未来的趋势,你是否能预测下,会如何发展?
      超高密度存储,丢的数据的情况会越来越多。


4 自己在数据存储中,积累的一些软硬件心得(例如:IBM v7000的使用经验等)

xdsnet 发表于 2015-07-28 00:36

本帖最后由 xdsnet 于 2015-07-28 00:39 编辑

1 您现在的业务环境,所选择的数据存储方案?有什么优劣势?
当前主要选择的是在线存储与近线存储,另外个别采用了异站保护和脱机保护(主要是一些相对静态的资源),因为业务特性,以往规划时在线存储是唯一可行的方案,附加近线存储实现数据可用性和安全性的均衡。但当前已经存在一定的瓶颈了,特别是大数据量并发时,以往的架构支撑有一定的扩展瓶颈。此外异站保护和脱机保护只针对的相对静态的资源(类似视频/图片等等,应用业务特性,这些都是重要资源),但当前的架构备份相对比较麻烦,恢复也不是自动化的。
2 中小企业如果选择云存储,机密数据建议如何备份处理?
在云存储中机密数据的备份策略是相对比较麻烦的,因为
a1. 云存储环境数据隔离是相对的,而不是物理隔离,这就对机密数据的保护提出了更高的要求
a2. 机密数据要分密级和应用策略来制定备份策略,如机密数据是只读类型的,则可以采用所有的备份形式,只是要注意安全措施,如访问授权方式,加密的强度等等,就是只读机密数据还可能要分访问的粒度问题来进行不同策略的加密与备份。如果机密数据还是需要读写的,则备份要求更麻烦,因为需要写的权限,则表明数据会更新,这时脱机备份则相对不方便了,最多采用分时间段的脱机备份了,其他策略的使用也要注意数据的完整性检查,否则备份出不可用数据也很麻烦。

总之,对于云存储环境中的机密数据备份,需要在以下方面做好策略规划:
b1. 机密数据的分类策略
b2. 机密数据的粒度划分策略
b3. 数据加密/解密 算法均衡选择(依据b1和b2等)
b4. 数据备份/恢复策略(依据b1、b2和b3)

3 数据存储未来的趋势,你是否能预测下,会如何发展?
在当前看来,数据存储的本质模式还没有发生根本的变化,既基于二进制数据存储基本原理,涉及的一系列分簇/块 等标准/应用 原理没有根本突破,所以暂时数据存储只能在一些技术层面上发展,如更大/更快的存储介质,根据应用的多层数据存储架构(热/快,冷/慢),大量应用高速固体存储以应用与在线存储,传统的以磁带为主的近线存储被以磁盘为主的近线存储代替,甚至离线存储的主要介质也变成诸如磁盘之类的介质(而不再是磁带了——恢复应用等更方便)

在这样的环境下,因为数据越来越多/越大/就要探寻一些更方便的策略来优化备份效率和成效,还要兼顾恢复(数据越来越热,需要恢复的代价越来越小,甚至对客户来说是透明的)

4 自己在数据存储中,积累的一些软硬件心得(例如:IBM v7000的使用经验等)
直接硬件应用比较简单,主要是EMC的设备,反正就是不要动有标签的盘之类的,此外对于备份软件,用过 netbackup,还有一篇关于其7.6.x客户端在Debian7.8上安装的博文(请见netbackup7.6.x client 在debian7.8 的安装配置 ),这些应该是比较简单的应用经验了。

hexilanlan 发表于 2015-07-28 15:18

1 您现在的业务环境,所选择的数据存储方案?有什么优劣势?
客户的存储环境是多种多样啊,有带重删的VTL,节省空间、费用,管理方便;也有到长期保存到物理带库,再长就出库放到异地了。

2 中小企业如果选择云存储,机密数据建议如何备份处理?
机密数据,能想到的就是加密后存储了。不知道能不能把重删应用到云存储,这样加密都省了。

3 数据存储未来的趋势,你是否能预测下,会如何发展?
哎,格局太小,实在不清楚。。。

4 自己在数据存储中,积累的一些软硬件心得(例如:IBM v7000的使用经验等)
说到V7000,虚拟化很方便;图形界面也很直观。精简配置等文档手册很重要,不然后续有人不清楚,就很麻烦。

fatelyliang 发表于 2015-07-28 17:52

兄台这个问题似乎跨过了存储,到备份和容灾的角度了,沟通交流下,:lol

1 您现在的业务环境,所选择的数据存储方案?有什么优劣势?
回答:
现在企业的业务环境对在线存储、近线存储,异站保护则在建设中。
大头是在线存储,根据所使用的业务类型包括web、文件、数据库等对IO和容量的不同要求,以及所归属开发、测试和生产环境的不同,分别使用不同类型的存储,包括分布式存储(DAS及切片分布式)、集中式的NAS和SAN。整个机制比较复杂,但是可以通过相对复杂的技术手段和管理手段取得性能、投资上的优化和平衡。
近线的全部采用磁带用来做备份,离线方式已经基本不在使用了,原因见下:
目前正在考虑利用云计算实施,把多个数据中心云化链接,首先做同城异地的异站保护,再进一步会考虑向暖备甚至双活发展,涉及网络、主机等层面,不细描述。
在网络大二层打通落地之后,会考虑存储的跨中心使用,但是以就近原则为优先。

2 中小企业如果选择云存储,机密数据建议如何备份处理?
看是什么云存储,公有云还是私有云。对于私有云问题不大,主要防止的是内部盗取或者硬件的丢失/废弃带来的泄露。这个可以用文件切片、分布式存储和多重加密的方式来保护。
至于公有云,数据本身就已经不在企业的手上,唯一可用的就是法律手段。敢把机密数据放到公有云上面,还必须佩服一下贵公司的勇气。云的租户隔离模式存在的风险或者是最可能的风险点。
如果只能选择云存储,最少不要把数据直接依赖于云服务的提供商,秘钥必须在自己手上。或者分布开来,列切分或文件切分放到不同的云存储供应商。

3 数据存储未来的趋势,你是否能预测下,会如何发展?
数据存储技术目前已经是业界发展的一个大瓶颈,速度、容量等方面都急迫需要一个更好的解决方案,但是我感觉企业仍然会用目前的保守思想和手段来应对数据存储的管理,哪怕技术问题已经解决!这反而是最大的障碍。

4 自己在数据存储中,积累的一些软硬件心得(例如:IBM v7000的使用经验等)
数据存储的技术特性非常特别,针对性也非常的强,应当仔细评估应用的操作类型、IO要求、数据类型、发展预测等等的因素来进行精细化的管理,否则就会导致存储资源的快速碎片化,而且极难整理和利用。

renxiao2003 发表于 2015-07-29 15:26

估计直接在大话IT中回复的截屏,也不能和论坛上的帐号对应。在这里回复 一下。呵呵。

renxiao2003 发表于 2015-07-29 15:27

把截屏回复上了。坐等徽章了哈。呵呵。
页: [1] 2
查看完整版本: 存储,数据之大事,生死之地,存亡之道,不可不察也