jimmy-_-lixw
发表于 2013-10-27 15:58
本帖最后由 jimmy-_-lixw 于 2013-10-27 16:31 编辑
回复 36# jimmy-_-lixw
继续,我也说说关于存储技术方面的讨论。
您所了解的存储技术在介质、协议、设备、分布式、数据管理方面有什么特点?遇到的难题有哪些(有哪些利弊)?
谈到存储,首先想到的是存储的接口方式、接口类型模式。
硬盘接口类型 IDE、SCSI、SATA 、PATA、 eATA、 USB等等。
存储技术接口应用最广泛的接口,也是最普遍的接口就是USB,非它莫属了。
显示器接口常见的有15针D-Sub和DVI、HDMI三种。
输入端口的例如HDMI接口,S端子,AV接口,DVI接口,VGA接口,分量视频接口,USB接口,TV接口。
应用的最多,服务器应用最广泛。有I/O 性能优势的硬盘接口方式SCSI。
SCSI硬盘是采用SCSI接口的硬盘,SCSI是Small Computer System Interface(小型计算机系统接口)的缩写,使用50针接口,外观和普通硬盘接口有些相似。SCSI硬盘和普通IDE硬盘相比有很多优点:接口速度快,并且由于主要用于服务器,因此硬盘本身的性能也比较高,硬盘转速快,缓存容量大,CPU占用率低,扩展性远优于IDE硬盘,并且支持热插拔。
USB 接口设备的优点是即插即用、支持热插拔、传输速度快、可通过扩展连接多达127个 USB 设备,不用担心 USB 加密锁与打印机等外设的冲突。USB2.0规范是由USB1.1规范演变而来的。它的传输速率达到了480Mbps,折算为MB为60MB/s,足以满足大多数外设的速率要求。(实际使中上普遍的硬件达不到这个传输速度)
存储系统在云计算、大数据和固态介质时代来临时,将面临何种挑战和机遇(分布式存储,SSD技术等)?
分布式存储这种方案是需要投入成本最低,可扩展信最强的。最省钱的大容量存储方案,莫过于分布式存储。
SSD固态硬盘,是“土豪”级别才使用的方案。并不是一般企业会考虑的,硬盘存储还是占主流。
很多企业的存储,需求量比较大的还是数据备份型。这种属于大型存储级别,备份存储的要求多数为一次写入,增量递增数据,循环周期存储等方式。
存储大致趋向两种需求,一种是最求存储的读写速度,I/O性能的高质量速度要求。另外一种是追求容量大,存储的级别都是TB的倍数。
存储这个话题讨论的话题确实很广泛。
存储高性能,同时价格很高,性价比低,容量低,在大数据时代全闪存不利于发展
jimmy-_-lixw
发表于 2013-10-27 16:10
回复 26# 冬瓜头
如果ssd的价格跟普通磁盘价格相当,我会选择ssd。哈哈
jimmy-_-lixw
发表于 2013-10-27 16:24
本帖最后由 jimmy-_-lixw 于 2013-10-28 13:48 编辑
回复 12# 冬瓜头
HDFS采用一种称为rack-aware的策略,理论原理知识,太专业的概念,不懂~:shock: 。
比较关心分布式存储部署是否方便,存储操作是否便捷。
wenhq
发表于 2013-10-27 19:46
冬瓜头 发表于 2013-10-25 17:07:27 static/image/common/back.gif
Gluster通过hash寻址,没有元数据吧?或者我记差了。
单盘容量的变化以及磁盘数量的变化确实在引发存储系
有元数据,没有元数据专门服务器。ssd的寿命能改进,那么将对整个硬件市场带来革命性的变化。
冬瓜头
发表于 2013-10-28 11:36
InfoCore-Great 发表于 2013-10-25 20:47 static/image/common/back.gif
回复 33# 冬瓜头
嗯,HDD寿命不可控,看运气,用的时间长的,可以用五六年都还好,SSD寿命可预知,比如写入总量20PB就基本达到上限虽然可用但是丢了数据不包。两个维度,你说的更是一种故障率,而不是寿命。故障率来抗SSD确实低。但是绝对寿命,SSD还赶不上HDD。实际寿命,看运气和环境了。
冬瓜头
发表于 2013-10-28 11:38
lbseraph 发表于 2013-10-25 23:41 static/image/common/back.gif
是因为cache机制吧?如果读写很频繁的话,用裸设备可以提供性能。
用了DIO性能也还是较差,本质原因在于AIX死心眼,低下都被拆分为4K的page IO,Linux就没这个问题。
冬瓜头
发表于 2013-10-28 11:39
jimmy-_-lixw 发表于 2013-10-26 00:01 static/image/common/back.gif
回复 33# 冬瓜头 好活动.支持,稍后编辑.
例如有一批服务器,剩余硬盘空间都各不相同,如果采用分布式文件存 ...
得看应用场景,现在分布式文件系统太多太乱,这个真不好说了,更多平经验和口碑来选。。
lbseraph
发表于 2013-10-28 12:29
本帖最后由 lbseraph 于 2013-10-28 12:29 编辑
冬瓜头 发表于 2013-10-28 11:36 static/image/common/back.gif
嗯,HDD寿命不可控,看运气,用的时间长的,可以用五六年都还好,SSD寿命可预知,比如写入总量20PB就基 ...
确实,电子元件得看工作环境、使用环境和使用频率了。如果放在粉尘大、制冷差、高温差的地方,肯定会缩短寿命;如果拿来跑读写频繁的应用上面,寿命肯定比只拿来一周备份的数据存储上的要短。
conqueryou
发表于 2013-10-28 12:54
回复 1# send_linux
哎呀,张东老师又出新作了,佩服!之前大话1彻头彻尾读了两遍,深入浅出,将很多概念掰开揉碎,看过之后让人醍醐灌顶,受益匪浅!悉闻又出大话2,好想拥有它!
存储这个行当,仅从项目实施来讲,我始终觉得低端没搞头,中、高端市场相对封闭,入门门槛较高,门槛高的原因并非全因其复杂的技术细节,另一个原因就是涉及的产品、技术以及资料多为舶来品,并未被国人汉化吃透,加之厂商不断兜售概念、花样百出,进而把人搞得云山雾里、浮躁不安。张老师的书就是一本让你能雾里看花,踏踏实实静下心来,一面牢筑基础、深修内功,一面又能够让你面对存储领域“乱花渐欲迷人眼”的乱象,从容不迫的好书!
jimmy-_-lixw
发表于 2013-10-28 13:41
回复 47# 冬瓜头
正是因为分布式系统的软件多,免费开源的都十来种,正因此才会产生出这个问题。
场景实际就是省成本,省资源,提高硬盘剩余空间的使用率。(直接使用商业存储设备的用户,不会遇到这样的情况。)
页:
1
2
3
4
[5]
6
7
8
9
10
11
12