免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123
最近访问板块 发新帖
楼主: send_linux

[存储网络] 互联网技术新热点之--基于X86架构的对象存储最佳实践(获奖名单已公布-2013-6-7) [复制链接]

论坛徽章:
22
CU大牛徽章
日期:2013-09-18 15:22:06白羊座
日期:2014-04-14 22:56:32午马
日期:2014-05-16 17:18:08巳蛇
日期:2014-05-30 20:53:19寅虎
日期:2014-06-03 10:53:34未羊
日期:2014-08-12 22:15:31神斗士
日期:2015-11-20 17:26:2515-16赛季CBA联赛之浙江
日期:2016-03-15 18:27:4215-16赛季CBA联赛之同曦
日期:2016-03-22 09:21:0115-16赛季CBA联赛之北控
日期:2017-03-26 21:47:12技术图书徽章
日期:2014-04-03 16:47:26摩羯座
日期:2014-03-25 23:51:36
发表于 2013-05-27 10:53 |显示全部楼层
tomer 发表于 2013-05-17 15:07
请问各位嘉宾,如何提高主机的磁盘的I/O吞吐量。并且减少iops,谢谢!!!

个人见解:
存储IO是最难以控制的..因为随机IO和连续IO的指标IOPS和吞吐量都是不一样的。如果主机存放数据没有说固定的特点,那么这个估计只能是存储厂商解决了。
如果主机存放的数据是有特性的,通过修改文件系统的方式来提高磁盘I/O吞吐量。

论坛徽章:
22
CU大牛徽章
日期:2013-09-18 15:22:06白羊座
日期:2014-04-14 22:56:32午马
日期:2014-05-16 17:18:08巳蛇
日期:2014-05-30 20:53:19寅虎
日期:2014-06-03 10:53:34未羊
日期:2014-08-12 22:15:31神斗士
日期:2015-11-20 17:26:2515-16赛季CBA联赛之浙江
日期:2016-03-15 18:27:4215-16赛季CBA联赛之同曦
日期:2016-03-22 09:21:0115-16赛季CBA联赛之北控
日期:2017-03-26 21:47:12技术图书徽章
日期:2014-04-03 16:47:26摩羯座
日期:2014-03-25 23:51:36
发表于 2013-05-27 11:06 |显示全部楼层
1、互联网行业的各种应用中,哪些场景需要运用对象存储?
用户数据备份,网盘可以用对象存储,也可以不用。
对象存储的话存大文件的性能会比较好,但不太适合用于临时数据的存放和小文件的存放。
而大文件的存储的应用场景就比较多了,视频、图片、音频网站,数据备份网站等等。

2、说说您在项目实施中,用到了哪些对象存储技术,简述您的项目中对象存储的实施规划。
目前实验室项目使用openstack swift,1台proxy节点,8个存储节点,每个节点4T硬盘,整个系统大概是10T的容量,每个数据存3个副本。
存的大约1-2T的文件,感觉还算靠谱,因为毕竟平时读写量不会太大,服务器的磁盘也不错,用的是SAS。

论坛徽章:
13
CU大牛徽章
日期:2013-04-17 11:20:3615-16赛季CBA联赛之吉林
日期:2017-05-25 16:45:4715-16赛季CBA联赛之福建
日期:2017-03-13 11:33:442017金鸡报晓
日期:2017-02-08 10:39:422017金鸡报晓
日期:2017-01-10 15:13:29IT运维版块每日发帖之星
日期:2016-03-15 06:20:01IT运维版块每日发帖之星
日期:2015-10-02 06:20:00CU十二周年纪念徽章
日期:2013-10-24 15:41:34CU大牛徽章
日期:2013-09-18 15:15:45CU大牛徽章
日期:2013-09-18 15:15:15CU大牛徽章
日期:2013-04-17 11:46:39CU大牛徽章
日期:2013-04-17 11:46:28
发表于 2013-06-05 13:43 |显示全部楼层
1、互联网行业的各种应用中,哪些场景需要运用对象存储?
      其实楼主的背景介绍中都提到了应用场景了:总结一句话就是普通文件存储不能满足的情况下就需要用对象存储了。就我理解,对象存储
是特例的文件存储,其突破了普通文件存储存储文件数量限制、容量限制、IO限制等,使得文件的存储可以实现横向和纵向的扩展,而且这样
的扩展是可调整的(基于一定自动机制的)。此外运用对象存储在一定程度上提供了更高的安全性。其实大量小文件也是适合对象存储的,只是
粒度问题可能于大文件的对象存储采用不同的策略,毕竟文件数量多到一定数量了,再小的文件累计起来也可能突破普通文件存储的某方面限制
了(文件数量、总的文件数据量、IO......)
2、说说您在项目实施中,用到了哪些对象存储技术,简述您的项目中对象存储的实施规划。
      在搭建云环境中很大一部分就是存储云的搭建,特别对于数据量本身比较大的资源类型:比如视频来说,利用对象存储可以实现更快的的
读取(同时在多个实体存储服务节点上读取不同部分),从而更快的读取,数据也更安全,这样可以提升诸如多路视频合成等涉及实时大数据
的应用性能。不过这样的应用需要有特殊的存储规划(策略)使得其可行,比如单个文件不同块的拆分与分布式存储策略、多路读取数据组装
策略等等,这还需要相关企业开发出合适的产品。
      前面提到了不同文件粒度需要采用不同的策略,这就提出了相关存储产品在应用中的实现要求,如何做到自适应不同文件粒度,并提供相当
的性能是相关算法需要考虑的问题了,我想现在大的社交网站已经遇到类似问题了(大量的短小文本信息对象存储、大量的大或者小的图片信息
存储以及大量的较大视频信息的存储)。我觉得这样的问题大多的策略都是分层、分类来解决,即把不同类型、大小的数据(文件)区分开来,
每种都针对性的采用合适的对象存储方案,只在集合应用时以一个唯一的资源ID(比如对应的URI信息)来引用,把实现和具体的使用隔离开,
让用户透明的享有对象存储的便利,而不需要了解细节。

论坛徽章:
0
发表于 2013-06-07 10:40 |显示全部楼层
回复 20# xike2002

弱弱地问下,您所说的分级存储一般是什么概念? 有具体的实例么? 谢谢!
   

论坛徽章:
18
卯兔
日期:2013-09-27 17:41:0615-16赛季CBA联赛之佛山
日期:2016-07-09 17:34:45操作系统版块每周发帖之星
日期:2015-12-02 15:01:04IT运维版块每日发帖之星
日期:2015-12-02 06:20:00IT运维版块每日发帖之星
日期:2015-10-07 06:20:00IT运维版块每日发帖之星
日期:2015-10-03 06:20:00IT运维版块每日发帖之星
日期:2015-10-01 06:20:00羊年新春福章
日期:2015-04-01 17:56:06拜羊年徽章
日期:2015-04-01 17:56:062015年迎新春徽章
日期:2015-03-04 09:49:452015年辞旧岁徽章
日期:2015-03-03 16:54:15天秤座
日期:2015-01-14 06:39:28
发表于 2013-06-09 15:12 |显示全部楼层
回复 1# send_linux


    大侠,对象存储 这种技术,有相关的资料么?我在网上找了一会,找不到呢。
谢谢!
   因为我们现在就存在SAN访问和使用内置大硬盘的机架式服务器访问存储两种方式。

论坛徽章:
0
发表于 2013-06-13 17:24 |显示全部楼层
虽然活动完成了。
但是明显,还没有学习到爽,呵呵。。。
我理解这个X86架构,就是为了区分开单纯的controller架构的存储吧。
实际上在很多存储上层,有X86架构的NODE来实现对数据流的控制。

论坛徽章:
0
发表于 2013-06-13 21:27 |显示全部楼层
单机上SSD阵列卡啊!全闪存存储。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP