存储技术之前世今生--存储技术现状及未来发展趋势讨论（获奖名单已公布-2013-11-21）

jimmy-_-lixw

回复 36# jimmy-_-lixw


    继续，我也说说关于存储技术方面的讨论。

您所了解的存储技术在介质、协议、设备、分布式、数据管理方面有什么特点？遇到的难题有哪些（有哪些利弊）？

谈到存储，首先想到的是存储的接口方式、接口类型模式。
硬盘接口类型 IDE、SCSI、SATA 、PATA、 eATA、 USB等等。
存储技术接口应用最广泛的接口，也是最普遍的接口就是USB，非它莫属了。
显示器接口常见的有15针D-Sub和DVI、HDMI三种。
输入端口的例如HDMI接口,S端子,AV接口,DVI接口,VGA接口,分量视频接口,USB接口,TV接口。
应用的最多，服务器应用最广泛。有I/O 性能优势的硬盘接口方式SCSI。
SCSI硬盘是采用SCSI接口的硬盘，SCSI是Small Computer System Interface（小型计算机系统接口）的缩写，使用50针接口，外观和普通硬盘接口有些相似。SCSI硬盘和普通IDE硬盘相比有很多优点：接口速度快，并且由于主要用于服务器，因此硬盘本身的性能也比较高，硬盘转速快，缓存容量大，CPU占用率低，扩展性远优于IDE硬盘，并且支持热插拔。
USB 接口设备的优点是即插即用、支持热插拔、传输速度快、可通过扩展连接多达127个 USB 设备，不用担心 USB 加密锁与打印机等外设的冲突。USB2.0规范是由USB1.1规范演变而来的。它的传输速率达到了480Mbps，折算为MB为60MB/s，足以满足大多数外设的速率要求。（实际使中上普遍的硬件达不到这个传输速度）

存储系统在云计算、大数据和固态介质时代来临时，将面临何种挑战和机遇（分布式存储，SSD技术等）？

分布式存储这种方案是需要投入成本最低，可扩展信最强的。最省钱的大容量存储方案，莫过于分布式存储。
SSD固态硬盘，是“土豪”级别才使用的方案。并不是一般企业会考虑的，硬盘存储还是占主流。
很多企业的存储，需求量比较大的还是数据备份型。这种属于大型存储级别，备份存储的要求多数为一次写入，增量递增数据，循环周期存储等方式。
存储大致趋向两种需求，一种是最求存储的读写速度，I/O性能的高质量速度要求。另外一种是追求容量大，存储的级别都是TB的倍数。


存储这个话题讨论的话题确实很广泛。
存储高性能，同时价格很高，性价比低，容量低，在大数据时代全闪存不利于发展

jimmy-_-lixw

回复 26# 冬瓜头


    如果ssd的价格跟普通磁盘价格相当，我会选择ssd。哈哈

jimmy-_-lixw

回复 12# 冬瓜头


    HDFS采用一种称为rack-aware的策略，理论原理知识，太专业的概念，不懂~ 。
比较关心分布式存储部署是否方便，存储操作是否便捷。

wenhq

冬瓜头 发表于 2013-10-25 17:07:27

Gluster通过hash寻址，没有元数据吧？或者我记差了。
单盘容量的变化以及磁盘数量的变化确实在引发存储系

有元数据，没有元数据专门服务器。ssd的寿命能改进，那么将对整个硬件市场带来革命性的变化。

冬瓜头

InfoCore-Great 发表于 2013-10-25 20:47
回复 33# 冬瓜头

嗯，HDD寿命不可控，看运气，用的时间长的，可以用五六年都还好，SSD寿命可预知，比如写入总量20PB就基本达到上限虽然可用但是丢了数据不包。两个维度，你说的更是一种故障率，而不是寿命。故障率来抗SSD确实低。但是绝对寿命，SSD还赶不上HDD。实际寿命，看运气和环境了。

冬瓜头

lbseraph 发表于 2013-10-25 23:41
是因为cache机制吧？如果读写很频繁的话，用裸设备可以提供性能。

用了DIO性能也还是较差，本质原因在于AIX死心眼，低下都被拆分为4K的page IO，Linux就没这个问题。

冬瓜头

jimmy-_-lixw 发表于 2013-10-26 00:01
回复 33# 冬瓜头 好活动.支持,稍后编辑.
例如有一批服务器，剩余硬盘空间都各不相同，如果采用分布式文件存 ...

得看应用场景，现在分布式文件系统太多太乱，这个真不好说了，更多平经验和口碑来选。。

lbseraph

冬瓜头 发表于 2013-10-28 11:36
嗯，HDD寿命不可控，看运气，用的时间长的，可以用五六年都还好，SSD寿命可预知，比如写入总量20PB就基 ...

确实，电子元件得看工作环境、使用环境和使用频率了。如果放在粉尘大、制冷差、高温差的地方，肯定会缩短寿命；如果拿来跑读写频繁的应用上面，寿命肯定比只拿来一周备份的数据存储上的要短。

conqueryou

回复 1# send_linux


    哎呀，张东老师又出新作了，佩服！之前大话1彻头彻尾读了两遍，深入浅出，将很多概念掰开揉碎，看过之后让人醍醐灌顶，受益匪浅！悉闻又出大话2，好想拥有它！
  
   存储这个行当，仅从项目实施来讲，我始终觉得低端没搞头，中、高端市场相对封闭，入门门槛较高，门槛高的原因并非全因其复杂的技术细节，另一个原因就是涉及的产品、技术以及资料多为舶来品，并未被国人汉化吃透，加之厂商不断兜售概念、花样百出，进而把人搞得云山雾里、浮躁不安。张老师的书就是一本让你能雾里看花，踏踏实实静下心来，一面牢筑基础、深修内功，一面又能够让你面对存储领域“乱花渐欲迷人眼”的乱象，从容不迫的好书！

jimmy-_-lixw

回复 47# 冬瓜头


    正是因为分布式系统的软件多，免费开源的都十来种，正因此才会产生出这个问题。
场景实际就是省成本，省资源，提高硬盘剩余空间的使用率。（直接使用商业存储设备的用户，不会遇到这样的情况。）