存储技术之前世今生--存储技术现状及未来发展趋势讨论（获奖名单已公布-2013-11-21）

冬瓜头

openview 发表于 2013-10-23 14:26
我用的第一块儿磁盘是希捷的。容量1GB。1996年。前几天刚换了一块儿SSD，三星的，容量120GB. 存储从开始的打 ...

说的很有历史观嘛哈哈。硬盘接口发展挺快，下一步估计就是sff8639，pcie不可小觑。机架内部的fabric化，pcie会是个大方向，摒弃传统的一些臃肿协议，轻量化。

冬瓜头

race 发表于 2013-10-23 10:30
存储是跟应用紧密相关的，什么样的应用环境，决定了使用什么类型的存储，不是什么时髦的东西都能用的上。既 ...

总结的不错，其实很多时候das很够用而且也方便，看场合，确实是不同场景不同需求。

冬瓜头

wenhq 发表于 2013-10-23 14:52
您所了解的存储技术在介质、协议、设备、分布式、数据管理方面有什么特点？遇到的难题有哪些（有哪些利弊） ...

Gluster通过hash寻址，没有元数据吧？或者我记差了。
单盘容量的变化以及磁盘数量的变化确实在引发存储系统质变，分布式集群化。
SSD寿命可预知是一大优点，目前来SSD故障率比机械盘低，寿命依然是个问题，希望后续能有技术突破。

InfoCore-Great

回复 33# 冬瓜头



聊点严肃的：
我个人在NAND这部分新兴市场，始终抱有一些另外的观点，尤其针对行业中热门的话题：容量，稳定性，成本，技术成熟度，寿命，单点故障及未来趋势...等等，这些不一致观点，来自一些业内<NAND>前辈和自己已经实施过的项目。

在这篇议题上，仅仅聊其中一个观点，那就是——寿命
如果我认为：“即使一颗民用级的NAND寿命都比企业级的HDD长久，你们会炮轰我吗”？
有人说HDD寿命是10年，或者30年，而NAND是5年或者7年。

先说HDD,这些寿命的数字指标从何而来？我想肯定是厂商的实验室，我个人相信厂商的实验室通过合理测试，能够让HDD达到预计寿命，但是，我也相信厂商的实验室会像医院的手术室一样干净和卫生，并且温度适宜。而我们的客户环境也保持的这样卫生吗？在北京，某厂商150TB阵列，一堆CX系列柜子，集成商从项目完工到第一次接报修换盘仅仅8个月。或者我们根据自身经验在想想，已完成的项目，待客户报修磁盘闪黄灯，这之间间隔多久？重庆比较常去，也许气候原因，每个机房都很干净，哪怕这样，1年半内，也都会接到这些客户的报修。这并不是说黑谁，目前情况真是这样。也许有人说，升级微码重启，磁盘还闪黄灯呢？盘没坏。OK，非要等到黄灯变成红灯，盘不转了才报修？在我自己看来，这颗HDD寿命已经终结，而寿命就是一年半或者两年或者更久一点！

所以我想，如果按照理论值，HDD寿命真的很久，如果按照客户环境来看，HDD则不会那么乐观，尤其在更苛刻的环境，NAND减少了复杂的机械结构，会体现出更高的优势。尤其是，那些NAND的先驱，及硅谷的新晋厂商，通过前沿的软技术或算法，把写入放大效应降低了很多。
因此，较于HDD，NAND的寿命不值得那么让人畏惧。
<我们采用民用级的NAND-使用在医院核心系统，3年内正常运作，我想企业级NAND颗粒品质则更高，更长久>

lbseraph

冬瓜头 发表于 2013-10-23 16:22
再讨论个技术点的问题吧，AIX下块设备性能为什么总是那么差，不管底层用了多么高端的存储。

是因为cache机制吧？如果读写很频繁的话，用裸设备可以提供性能。

jimmy-_-lixw

提示: 内容自动屏蔽

ljl890705

现在许多人的想法似乎走进了一个误区。在现在的环境下，只要容量与性能能够满足使用，就不会去考虑更新的问题。
而对于大多数公司来说，现阶段的普通存储已经足够满足使用，IPSAN的低廉价格与容量是现行的最广泛与最低廉的存储实现，实际应用中，IPSAN在未来的长时间内都会继续活跃。
存储的未来，是硬件与软件各占壁江山的情况，使用更快的磁盘，更快的网络，配合更智能的软件，才是构成未来存储的梁柱。

zhaopingzi

大数据时代3大难题：

1.如何方便备份，恢复
2.如何快速（存储）加载
3.如何快速提取（查询）

lbseraph

- 您所了解的存储技术在介质、协议、设备、分布式、数据管理方面有什么特点？遇到的难题有哪些（有哪些利弊）？
虽然比较晚接触电脑，在高中的时候才开始学，但一直很着迷，甚至订阅全年的《微型计算机》来了解各种硬件技术，大三自己买备件组装了第一台电脑。当时还配置软驱，可是也没用上几次。不过自身专业不是计算机，在毕业两年后才遇上好机会转到IT行业，做自己喜欢的工作。
到目前为止，生活中接触过软盘、CD、DVD、IDE硬盘、闪存、U盘、SD卡等介质的存储媒介，工作中有接触SCSI硬盘、FC硬盘、SAS硬盘、SATA硬盘、SSD硬盘等。软盘、CD、DVD、IDE硬盘、SCSI硬盘（SCSI接口，走SCSI协议）、FC硬盘（采用FC接口，走光纤协议）、SAS硬盘、SATA硬盘这些都需要机械驱动读写；而闪存、U盘、SD卡、SSD这些都是基于闪存（NAND flash）的，这些具有体积小，固体化介质，没有旋转式机构，稳定性相对要好，数据传输也快。接触的企业存储阵列早期用SCSI硬盘、FC硬盘，到SAS硬盘、SATA硬盘和现在比较火的SSD硬盘。数据管理上有用FC或iSCSI、NFS、CIFS协议的。FC的话速度快，但光纤介质要贵，而且有距离限制，在WAN上面没LAN的好。iSCSI可以使用目前比较完善的LAN环境，成本低但响应速度相对FC要慢，阵列用它在远距离异步传输数据。NFS、CIFS也用了目前的LAN结构。分布式存储了解不多，那应该配合实际应用需求来使用吧，不过如果分布式存储使用不同厂家的设备的话，如果有效管理也是个问题，对管理人员的素质要求也有提高。

- 存储系统在云计算、大数据和固态介质时代来临时，将面临何种挑战和机遇（分布式存储，SSD技术等）？
在大数据时代，觉得如何处理海量数据库是个大问题（如何存储？分布式的话又如何有效管理？快速提取、备份、如何快速还原等等问题可能和现有架构不一样），如果在应用层进行事先处理大数据可能又会加重主机资源消耗；若还存在重复数据的话又会造成资源浪费，所以存储系统若能配合消重的话应该会比较好。同时若采用固态介质保存数据的话，如果没数据消重功能的存储，可能会间接加快消耗SSD硬盘的寿命时长。而在云计算中，如果通过集群应用、分布式文件系统等方面的功能，通过应用软件将大量网络存储集合到一起协同工作，则成为了云存储系统。在云存储环境中，如何集中管理不同厂家不同型号不同协议的存储？而SMI-S（存储管理接口规范）目前还不能和存储管理软件互操作，IT管理员还是得登陆具体存储本身的管理软件。

weizhulinux

SAS:本地存储，可靠，速度慢，成本低，每秒对裸设备顺序写60Mb左右，每秒对处理200个io请求封顶，配合raid1或者raid5可以提速。
ssd：本地存储，或者作为san，ip-san的多级存储的前端cache，可靠，速度快，成本高，每秒对裸设备顺序写200Mb左右，不同品牌差异不大，个人感觉intel最好，但是美光比较便宜。由于存储颗粒的擦写次数受限，好点的5000次左右，因此需要监控硬盘寿命。配合raid1或者raid5可以提速。
盘阵：不同品牌不同型号性能差异比较大，但是写的速度是几百Mb的数量级，可以通过万兆网卡连接，前端是两台linux服务器来提供存储服务。设备比较贵，容量几十Tb的数量级。
svc：包含多级ssd作为cache，下层存储用SAS，写速度很快，很稳定，很可靠。可以通过fc或者iscsi两种方式连接。但是虚拟块设备的数目有限制，但是仍然在千以上。非常牛逼。
个人感觉：不用一味的追求存储性能。好的架构和策略可以通过平行扩展来解决速度和容量。但是一分钱一分货，好存储能让服务质量更加稳定。不用让工程师天天折腾架构。